研究揭示LLM代理劫持检测器在罕见攻击和未见工具下的评估缺陷

1. 13:00
   arXiv cs.CR精选

   论文指出标准评估掩盖了LLM智能体劫持检测器在罕见攻击与未见工具下的失效真相

   该研究审计了11项关于LLM智能体劫持检测器的评估，发现测试样本中攻击或异常占比在16%至86%之间波动，且六项评估未包含来自第二基准的数据。作者在AgentDrift和AgentDojo基准上测试了多种训练好的检测器及发布的AlignmentCheck监控器，揭示了当前评估体系存在的严重缺陷：当攻击率为2%时，AUROC为0.879的检测器其精确率仅为0.076，且阴性样本的混合比例会导致精确率在0.039至0.117之间大幅波动。 关键证据显示，随着测试工具调用中“训练中见过”的工具覆盖率下降，检测器排名在50%覆盖率处发生逆转，因为未见工具映射到训练从未触及的输入空间；而针对工具输入的Dropout操作基本消除了这种逆转。更严峻的是，在AgentDrift上训练的模型无法在AgentDojo的轨迹上获得优于随机猜测的性能（AUROC介于0.47至0.52），即便有一个模型在AgentDojo内部达到0.996。此外，未在任一基准上训练的监控器虽达到0.930的AUROC，但因其开放骨干网络，若按发布决策规则运行，在2%攻击率下仍会产生大量误报，精确率仅为0.096。 事实层面，现有评估普遍缺乏跨基准验证和对未见工具的鲁棒性测试。推断表明，依赖单一基准或固定阈值的安全方案在实际部署中可能因环境迁移而失效。猜测认为，若不引入针对工具分布变化的动态评估机制，行业对Agent安全产品的信心将建立在虚假的高指标之上。

当前热度 9·可比范围峰值 9（11月2日 15:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。