AI智能体安全评估捷径信号致守卫误报率变化

该研究提出三层捷径审计框架，通过LinuxArena和TS-Bench派生数据集证明，用于评估安全守卫的数据中包含可预测标签的捷径线索，这些线索会直接影响守卫决策并扭曲评估结果。在LinuxArena中，较短的平均Shell命令能强预测轨迹标签；在AgentDojo-Traj中，跨域保留下的精确工具查找F1分数从0.901降至0.495；在AgentHarm-Traj中，改变交互权重后TS-Guard的F1分数从0.902降至0.719。 实验进一步显示，修改信息标记或引入不透明工具别名会直接改变守卫的拦截行为：重写<INFORMATION>标记使拦截率降低8.33个百分点，而引入不透明别名使其增加11.46个百分点。这些效应在扣除格式安慰剂效应后依然显著且非零，但Haiku-sized效应未在Luna或确定性Q8 TS-Guard中复现。这表明基准测试的表示形式能实质性改变守卫决策和测量性能。 事实层面确认了捷径线索对评估指标的干扰机制及具体数值变化；推断层面认为现有基准测试可能高估或低估守卫的真实能力；猜测层面指出不同模型架构（如Haiku与Luna）对捷径信号的敏感度存在差异，未来需建立包含域组保留、评估单元指标和安慰剂对照干预的新评估标准。