CoFiBreak 提出粗粒度到细粒度的多样性奖励以解决多轮越狱攻击中的策略坍缩问题

该论文针对自动化红队测试中强化学习导致攻击者策略单一化的问题，提出了 CoFiBreak 方法，旨在提升多轮越狱攻击的多样性同时保持高成功率。该方法基于 Group Relative Policy Optimization (GRPO)，通过粗粒度和细粒度两层奖励机制，分别鼓励未被充分使用的攻击策略以及避免在移除有害意图信息后复用相同的人设、框架和输出格式。实验显示，在 HarmBench 上，使用 Llama3.1-8B-Instruct 作为受害者模型时，CoFiBreak 发现的独特成功细粒度策略数量是最强基线的 1.6 至 2.0 倍。

在 AdvBench 基准测试中，CoFiBreak 达到了 98.8% 的攻击成功率（ASR@10），其多样性分数是所有对比方法中最高的，且是攻击能力最强基线的 2.1 倍。此外，该方法生成的攻击具有跨模型迁移能力，在未见的 Claude-Opus-4.6 模型上实现了 71.0% 的 ASR@10。所有奖励计算仅在训练阶段进行，因此不影响推理效率。作者表示代码将开源。

事实层面，该研究证实了在单一奖励信号下强化学习容易陷入局部最优导致攻击模式重复，而引入多样性约束能有效拓宽攻击空间。推断层面，这表明当前的安全评估若仅依赖传统红队工具可能低估了模型的脆弱性，因为现有工具难以覆盖深层的意图变体。猜测层面，随着此类多样化攻击工具的普及，未来的模型对齐训练可能需要引入对抗性的多样性数据增强，但这会增加训练成本和算力消耗。