CoFiBreak提出多样性奖励机制解决多轮越狱策略坍缩
先了解这件事
2026年11月2日，arXiv发布论文介绍CoFiBreak方法。该方法针对自动化红队测试中强化学习导致攻击者策略单一化的问题，基于GRPO算法提出粗粒度到细粒度的多样性奖励机制。粗粒度奖励鼓励未被充分使用的攻击策略，细粒度奖励避免在移除有害意图后复用相同人设、框架和输出格式。实验显示，在HarmBench基准上，使用Llama3.1-8B-Instruct模型时，该方法能提升多轮越狱攻击的多样性并保持高成功率。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CLCoFiBreak 提出粗粒度到细粒度的多样性奖励以解决多轮越狱攻击中的策略坍缩问题
该论文针对自动化红队测试中强化学习导致攻击者策略单一化的问题，提出了 CoFiBreak 方法，旨在提升多轮越狱攻击的多样性同时保持高成功率。该方法基于 Group Relative Policy Optimization (GRPO)，通过粗粒度和细粒度两层奖励机制，分别鼓励未被充分使用的攻击策略以及避免在移除有害意图信息后复用相同的人设、框架和输出格式。实验显示，在 HarmBench 上，使用 Llama3.1-8B-Instruct 作为受害者模型时，CoFiBreak 发现的独特成功细粒度策略数量是最强基线的 1.6 至 2.0 倍。 在 AdvBench 基准测试中，CoFiBreak 达到了 98.8% 的攻击成功率（ASR@10），其多样性分数是所有对比方法中最高的，且是攻击能力最强基线的 2.1 倍。此外，该方法生成的攻击具有跨模型迁移能力，在未见的 Claude-Opus-4.6 模型上实现了 71.0% 的 ASR@10。所有奖励计算仅在训练阶段进行，因此不影响推理效率。作者表示代码将开源。 事实层面，该研究证实了在单一奖励信号下强化学习容易陷入局部最优导致攻击模式重复，而引入多样性约束能有效拓宽攻击空间。推断层面，这表明当前的安全评估若仅依赖传统红队工具可能低估了模型的脆弱性，因为现有工具难以覆盖深层的意图变体。猜测层面，随着此类多样化攻击工具的普及，未来的模型对齐训练可能需要引入对抗性的多样性数据增强，但这会增加训练成本和算力消耗。
本事件热度走势
当前热度 9·可比范围峰值 9（11月2日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。