ECHO 论文提出用响应级有害性评分替代合规代理以优化越狱攻击

该论文指出现有基于优化的越狱攻击依赖提示词层面的合规代理（如肯定前缀概率），无法区分谨慎的回避与真正的有害回答，导致搜索过程盲目。作者提出 ECHO（Evaluation-Conditioned Harmfulness Optimization）方法，使用 HarmSig 这一 1.7B 回归器生成的响应级连续有害性评分替换原有代理，使攻击目标直接对准模型实际输出的危害程度。

在 AdvBench 数据集上针对五个开源权重模型的测试中，ECHO 结合五种词级扰动算子与关键词锚定束搜索，实现了 0.898 的 StrongREJECT 平均分和 89.23% 的 HarmBench 成功率。该方法严格遵循黑盒威胁模型设定，代码已公开。

事实层面，ECHO 确实将优化目标从提示词特征转移到了生成响应的语义危害度；推断层面，这意味着未来针对大模型的安全对齐评估需更关注生成内容的实际风险而非输入侧的诱导信号；猜测层面，这种基于响应评分的攻击策略可能推动防御方从单纯拦截特定关键词转向构建更细粒度的内容理解防线，但具体实施成本尚需验证。