SentryBench 提出基于成本的对抗鲁棒性基准以评估公共安全场景下的工具型 LLM Agent

arXiv cs.CR 论文发布 SentryBench，这是一个针对在公共安全部署中使用工具的 LLM Agent 的成本敏感型对抗鲁棒性基准。该基准不再将“拒绝调用”默认为安全默认值，而是通过不对称成本函数联合衡量攻击成功率、过度拒绝（遗漏真实紧急事件）和过度反应（无端行动），其场景基于真实的紧急呼叫转录、灾难信息和注入载荷。

实证数据显示，在 840 个评分回合中，采取“更多拒绝”策略的模型在两个模型上将过度拒绝率推高至 100%，而攻击成功率仅变化最多 3.7 点，导致整体危害最大；相比之下，作者提出的信任门控包装器在所有模型上均实现了最低危害，且过度拒绝率不高于基线。论文还证明，当模型拒绝的真实紧急事件数量超过其避免的攻击危害时，朴素谨慎会导致危害主导，并指出提供商的内容过滤器实际上承担了部分防御工作，需在报告中单独披露。

事实层面，该研究证明了在涉及现实后果的工具调用场景中，单纯追求防攻击的保守策略会因漏报真实危机而产生更大社会成本。推断层面，现有的通用 Agent 安全评估体系可能严重低估了特定垂直领域（如急救、执法）的风险结构，需要引入行业特定的成本权重。猜测层面，若未来监管要求公开此类成本敏感指标，现有主流模型可能需要重新调整其系统提示词或防御层级的阈值配置。