跳到正文
原文
arXiv cs.CR· Nishi Kanta Paul, Md Shihabul Islam Shovo, Md Mostafijur Rahman, Jamil Fayyad·· 3 小时前AI 评分72

医学视觉智能体中传感器故障如何导致双通道比对失效

Coupled or Independent? Fault Coupling in Agentic Medical Vision Systems

AI 摘要

该研究通过实验证明,当视觉智能体的传感器输入本身不可信时,依赖中间输出进行比对的“双通道”机制无法检测联合错误,反而可能因故障耦合产生虚假的一致性确认。在基于分割、对比检索和迭代推理的皮肤病学智能体测试中,物理损坏未引发可检测的方向性捕获,而排版注入则能导致检索通道被定向劫持。

关键证据显示,采用先裁剪后检索的策略会保留有效载荷的可读比例,在所有案例中产生55%的联合错误一致性(占故障案例的71%),而全图检索策略仅为35%。由于二元决策下若两通道均错必须达成一致,硬标签通道比对无法识别此类联合故障,导致其召回率从全图检索的0.57降至裁剪策略的0.29。这一顺序效应在独立的HIBA测试集上得到了复现。

事实层面,研究证实了特定攻击手段(如排版注入)在多模态系统中存在跨通道的耦合风险;推断层面,这意味着单纯增加工具调用或中间步骤并不必然提升安全性,反而可能引入新的隐蔽失效模式;猜测层面,未来针对Agent的安全评估需将传感器层面的物理与逻辑污染纳入基准,而非仅关注模型推理本身的幻觉问题。

来源:arXiv cs.CR · arxiv.org