研究揭示小工具代理忽略而非拒绝提示注入
先了解这件事
2026年10月19日,一项发表于arXiv cs.CR的研究审计了11个开源权重智能体在InjecAgent和AgentDojo上的33,000条轨迹。研究发现,当前以攻击成功率(ASR)为核心的安全基准存在严重误导:大多数未成功的攻击并非被模型拒绝,而是被静默忽略。标注盲测LLM法官显示,76-80%的失败攻击属于“忽略”状态,仅有17-18%被明确拒绝。这意味着在现有评估体系下,看似安全的低ASR数据实际上掩盖了智能体未能执行用户任务且未告知用户的风险。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.CR精选小参数工具智能体低提示注入成功率主要源于静默忽略而非拒绝
该研究审计了11个开源权重智能体(2-14B参数)在InjecAgent和AgentDojo上的33,000条轨迹,发现当前以攻击成功率(ASR)为核心的安全基准存在严重误导:大多数未成功的攻击并非被模型拒绝,而是被静默忽略。标注盲测LLM法官显示,76-80%的失败攻击属于“忽略”状态,仅有17-18%被明确拒绝。这意味着在现有评估体系下,看似安全的低ASR数据实际上掩盖了智能体未能执行用户任务且未告知用户的风险。 实验进一步证明系统提示词对结果的决定性影响:在保持模型权重完全一致的情况下,仅修改系统提示即可将InjecAgent的ASR从0.2%拉升至43%。此外,通过提出的攻击 - 任务结果矩阵(ATOM)分析发现,在21.7%的AgentDojo场景中,智能体虽然保持了安全性(未执行恶意指令),但也同时未能完成用户的原始任务。这种“既不安全也不可用”的状态在传统ASR单一指标下会被误判为成功防御。 事实层面,该论文提供了包含标签的语料库、判决提示词及分析代码,并确认了忽略与拒绝的比例分布及系统提示词的敏感性。推断层面,现有的行业基准测试可能高估了智能体的实际安全水位,因为静默忽略会导致业务逻辑中断而未被察觉。猜测层面,若未来产品上线不强制要求报告“失败原因”与“任务完成度”,此类静默失效可能在真实生产环境中引发更隐蔽的业务损失。
本事件热度走势
当前热度 9·可比范围峰值 9(10月19日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。