LLM越狱评估中评估者模型差异导致成功率波动最高达82个百分点

该论文指出当前大语言模型越狱攻击的评估标准存在严重缺陷，仅更换评估用的法官模型（judge LLM）即可使报告的越狱成功率（ASR）出现高达82个百分点的波动。作者提出一种名为语义重构游戏（semantic reconstruction game）的训练无依赖评估方法，旨在解决现有评估器将拒绝回答或话题相关回复误判为成功攻击的问题。

该方法的核心机制是：给定模型响应后，让LLM仅基于实质性内容重构其所回答的请求，排除单纯重复或拒绝的信息；随后将该重构结果与类似的诱饵请求进行受限的语义对比，若两者均不匹配则允许 abstention（弃权）。在三种现成LLM评估者的测试中，该方法相比其他评估手段取得了最低的平均误差，并显著降低了报告ASR的方差，但其设计优先避免假阳性，代价是可能漏掉部分成功的越狱案例。

这一发现表明，跨不同评估框架比较越狱性能时，数据本身可能缺乏可比性，行业需重新审视现有基准的稳定性。事实层面确认了评估方法的脆弱性，推断层面认为当前公开的性能排名可能存在系统性偏差，猜测层面涉及未来是否会出现统一的标准化评估协议，但原文未明确提及具体实施路径。