MMA-SafetyBench揭示多模态Agent视觉语义劫持风险

该论文提出 MMA-SafetyBench 基准，专门用于评估多模态智能体（Multimodal Agents）在依赖视觉界面时的安全性，指出仅基于文本的安全评估无法覆盖由此产生的攻击面。研究聚焦于“视觉语义劫持”（Visual Semantic Hijacking），即通过伪造系统警报等具有语义意义的欺骗性界面元素，诱导智能体偏离授权任务。测试涵盖网页自动化、桌面 GUI 控制、移动导航、文档理解和视频处理五个领域，共包含 1,083 条对抗轨迹。 在九个被评估的模型上，攻击成功率（ASR）达到 87.96%，语义妥协率（SCR）高达 98.09%。实验采用 1-3-5 评分方案区分目标匹配输出、无目标匹配的语义干扰以及良性任务的保留情况。控制组测试表明，即使在中性提示词下攻击依然持续存在；虽然引入安全优先提示词能降低 ASR，但并未消除失败模式。该基准通过轨迹引导程序识别候选注入点，并在观测流中插入可复现的视觉载荷。 事实层面，该研究证实了当前主流大模型在视觉交互场景下对界面欺骗极度脆弱，且简单的提示工程难以完全防御。推断层面，这意味着现有的 AI 安全对齐工作若仅关注文本输入输出，将严重低估多模态 Agent 在实际部署中的风险敞口。猜测层面，未来针对 Agent 的安全防护可能需要从“内容过滤”转向“界面完整性验证”，但这需要新的架构支持，目前尚无明确解决方案。