M3框架将多轮越狱形式化为MDP并提升攻击成功率

该论文提出 M3 框架，将大语言模型的多轮越狱（jailbreaking）问题形式化为有限时域马尔可夫决策过程（MDP），旨在解决现有红队测试方法在完全黑盒设置下依赖启发式规则或强假设的局限性。实验显示，M3 在两个基准和六个目标模型上均优于现有的最先进多轮红队方法，攻击成功率（ASR）最高提升达 53%（ASR@5）。即使在轻量级攻击者模型下，其 ASR@1 和 ASR@5 的提升幅度也分别达到 26% 和 34%，超过了使用更高容量攻击者的基线方法。 核心机制在于引入状态 LLM（state LLM）生成紧凑的内部状态，使攻击者 LLM 能在多轮交互中维持上下文并逐步绕过安全机制。此外，M3 无需依赖预定义的风险分类体系，却能实现更陡峭的风险升级曲线，并在不同风险类别间提供更一致的性能表现，Gini 指数最高改善 4.82。这一结果证明了基于 MDP 的形式化方法在捕捉复杂交互动态方面的优势。 事实层面，M3 通过 MDP 形式化提升了黑盒场景下的越狱效率；推断层面，这表明针对多轮交互的安全防御可能需要从静态规则转向动态博弈模拟；猜测层面，若此类自动化攻击框架被广泛开源，可能加速针对特定模型的定向攻击，迫使厂商重新评估其安全对齐策略的鲁棒性。