端侧视觉语言模型在物理对抗下的脆弱性与危险失败模式被统一框架量化

该论文提出统一评估框架，发现端侧部署的视觉语言模型（VLM）在物理对抗攻击下的脆弱性与传统目标检测器相当，且其失败模式主要由输出格式而非架构决定。研究引入条件攻击成功率（cASR）指标，仅统计在灰度遮挡下仍能定位目标的图像，并将失败细分为漏检、替换和位移三类。实验表明，VLM不仅继承了检测器的漏洞，还可能在分布偏移时从漏检转向更隐蔽的位移或替换错误。

关键证据显示，只有漏检（omission）能被下游系统直接感知，而位移（displacement）和替换（substitution）会返回自信且格式正确的边界框，构成潜在的高风险故障。当环境发生分布偏移时，原本以漏检为主的VLM会显著增加位移和替换错误的比例，这意味着模型在复杂现实场景中可能表现出比传统检测器更危险的失效行为。这一发现挑战了以往认为VLM因多模态能力而具备更高鲁棒性的假设。

事实层面，论文已公开代码与数据，并发表于NeurIPS 2026相关研讨会；推断层面，端侧VLM的安全评估必须纳入对输出格式导致的特定失败模式的监测；猜测层面，若下游系统未针对位移/替换错误设计校验机制，可能导致严重的安全事故。建议产品团队在部署前重新审视对抗样本测试策略，避免仅关注准确率而忽视此类隐性风险。