MisVisAgentBench 揭示误导性图表使 Web Agent 任务成功率下降超 34 个百分点

该论文发布 MisVisAgentBench，这是首个针对误导性可视化对 Web Agent 执行影响的配对可执行基准测试。研究通过对比 280 组仅图表证据不同的干净与误导性任务实例，发现将干净图表替换为误导性版本后，13 种视觉语言 Web Agent 的平均任务成功率下降了超过 34 个百分点。这一结果证实了非恶意但具有误导性的图表会显著降低智能体的可靠性，且这种风险在现有研究中尚未得到充分探索。

诊断框架进一步隔离了由误导性诱导导致的失败与基础任务难度，并捕捉到了执行层面的具体影响，如额外的浏览步骤和决策犹豫。数据显示，这些失败主要遵循目标误导动作分支，表明欺骗性图表并非随机干扰智能体决策，而是系统性地将其重定向至特定错误路径。这揭示了可视化鲁棒性是 Web Agent 安全与可靠性的一个关键但被忽视的维度。

事实层面，该基准包含 280 个配对任务实例，涉及 13 种模型，成功率降幅明确为 34 个百分点以上。推断层面，这意味着当前主流 Web Agent 在处理含图表的网页内容时存在系统性脆弱点，单纯提升推理能力可能无法解决此类视觉陷阱。猜测层面，未来若要在真实商业场景中部署依赖视觉信息的自动化代理，必须将此类对抗性可视化测试纳入标准评估流程，否则可能导致不可控的业务操作偏差。