新研究揭示内容监控在注入攻击下失效，提出动作基准

该论文提出首个针对LLM智能体在多主体环境中滥用行为的统一监控基准，核心发现是传统基于内容的监控方法在面对提示词注入攻击时性能崩塌，而基于动作的监控框架能同时有效识别分解攻击和注入攻击。研究构建了包含约6,200条对话记录的基准数据集，涵盖用户、LLM智能体及外部环境的交互轨迹，并标注了明确的危害窗口（从智能体首次做出有害承诺到目标执行）。 实验数据显示，在17种监控配置中，基于动作的监控器在分解攻击和注入攻击上的AUC分别达到0.95和0.99，表现稳健；相比之下，基于内容的监控器在注入攻击场景下的AUC仅为0.52，几乎等同于随机猜测。此外，研究指出传统的无位置敏感指标会掩盖监控器的真实缺陷，所有监控器在衡量危害定位能力的区间指标上对分解攻击的定位均较差，这意味着即使能检测到有害行为，也无法准确界定其发生的具体时间点。 这一结果意味着现有的AI安全评估体系存在严重盲区，过度依赖内容分类可能无法应对复杂的工具调用和指令注入风险。事实层面，该基准提供了标准化的测试集和形式化定义；推断层面，行业需重新设计监控架构，将重点从单纯的内容过滤转向对智能体行动轨迹的实时追踪；猜测层面，未来监管或企业合规标准可能会强制要求具备“危害时间定位”能力的监控系统，而非仅报告最终结果。