arXiv cs.AI· Zhipeng Wei, Michael Lee, N. Benjamin Erichson·· 7 小时前AI 评分70
论文发现多轮越狱攻击中约一半早期查询可被移除而不影响攻击进度
Multiple Turns, Short Horizons: Measuring Effective-Horizon Compression in Jailbreaks
AI 摘要
该研究通过实验证明,在多轮越狱(multi-turn jailbreaks)攻击中,一旦找到有效的攻击轨迹,大约一半的原始查询序列即可恢复相同的攻击进度,这种现象被称为有效历史压缩(effective-horizon compression)。研究者通过移除早期攻击者查询并在新对话中重放剩余查询来定义有效视界,实证结果显示缩短的历史不仅能恢复未成功攻击中的最佳点,还能为继续攻击提供更好的起点。
这一发现对攻击者的训练机制具有直接影响:识别出哪些早期查询应获得较少的学习信号,并通过降低这些查询的权重来提升整体性能。同时,研究指出短奖励传播窗口能够保持校准后的防御性能接近完整轨迹的回报水平,这意味着在评估或部署防御策略时,无需依赖完整的长上下文交互即可获得可靠的防御效果。
事实层面,论文基于arXiv 2610.22928发布的数据表明多轮攻击包含冗余查询;推断层面,这暗示现有的长上下文训练可能效率低下,优化训练数据采样策略可提升攻击成功率或防御鲁棒性;猜测层面,若防御方利用此特性截断早期交互,可能会削弱某些特定类型的自适应攻击,但需进一步验证不同模型架构下的泛化能力。
来源:arXiv cs.AI · arxiv.org