DecisionRobust 基准测试显示 JEV 风格决策模型面临文本与视觉双重攻击风险且抗扰动能力不互通

这篇 arXiv 论文发布了 DecisionRobust 基准，旨在系统评估 JEV（Justification, Evaluation, Value）风格决策模型在文本和视觉输入下的鲁棒性。该基准覆盖了实际决策场景及多种攻击手段，包括语义保持的文本扰动、图像扰动以及双模态的提示词注入，并通过了外部有效性检查和跨模型候选选择来构建评估集。

实验评估了 30 种文本任务配置和 17 种视觉任务配置，其中分别包含 24 个和 12 个未参与候选选择的保留模型。研究发现，攻击暴露了模型构造和选择之外的漏洞，尽管优化的图像扰动在多个代理模型下向许多目标的转移性较弱；不同模型在不同任务和攻击类型上的相对鲁棒性存在差异，抵抗输入扰动并不必然意味着能抵抗提示词注入；此外，标签一致性检查显著降低了文本和图像设置中测得的攻击成功率，凸显了验证表观失败的重要性。

事实层面，该基准已公开并提供评估代码与数据集链接。推断层面，这表明当前决策模型的防御策略不能简单假设一种攻击的防御能覆盖另一种，特别是视觉扰动与提示词注入之间缺乏直接关联。猜测层面，未来针对此类模型的部署可能需要引入动态的标签一致性校验机制作为标准流程，而非仅依赖静态的对抗训练数据。