小参数工具智能体低提示注入成功率主要源于静默忽略而非拒绝

该研究审计了11个开源权重智能体（2-14B参数）在InjecAgent和AgentDojo上的33,000条轨迹，发现当前以攻击成功率（ASR）为核心的安全基准存在严重误导：大多数未成功的攻击并非被模型拒绝，而是被静默忽略。标注盲测LLM法官显示，76-80%的失败攻击属于“忽略”状态，仅有17-18%被明确拒绝。这意味着在现有评估体系下，看似安全的低ASR数据实际上掩盖了智能体未能执行用户任务且未告知用户的风险。

实验进一步证明系统提示词对结果的决定性影响：在保持模型权重完全一致的情况下，仅修改系统提示即可将InjecAgent的ASR从0.2%拉升至43%。此外，通过提出的攻击 - 任务结果矩阵（ATOM）分析发现，在21.7%的AgentDojo场景中，智能体虽然保持了安全性（未执行恶意指令），但也同时未能完成用户的原始任务。这种“既不安全也不可用”的状态在传统ASR单一指标下会被误判为成功防御。

事实层面，该论文提供了包含标签的语料库、判决提示词及分析代码，并确认了忽略与拒绝的比例分布及系统提示词的敏感性。推断层面，现有的行业基准测试可能高估了智能体的实际安全水位，因为静默忽略会导致业务逻辑中断而未被察觉。猜测层面，若未来产品上线不强制要求报告“失败原因”与“任务完成度”，此类静默失效可能在真实生产环境中引发更隐蔽的业务损失。