arXiv cs.CL· Fardin Ahsan Sakib, Ziwei Zhu, Ozlem Uzuner·· 7 小时前AI 评分70
论文提出无需训练的多智能体医疗系统提示注入防御方法
The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection
AI 摘要
该研究针对医疗多智能体系统中大语言模型易受提示注入攻击的问题,通过两个系统、两个模型家族和三个基准测试发现,单一注入段落可导致高达61%的决策错误,且现有协作机制无法一致性地抵御此类攻击。作者提出的无训练防御策略基于临床实践逻辑,将患者发现与临床判断(如诊断、建议)分离,仅依据患者事实数据验证每个判断的有效性,从而确保最终决策建立在受支持的事实之上。
实验数据显示,该方法在MedQA基准上将攻击成功率降低至4-7%,同时在无攻击场景下保持准确率,并有效应对防御感知型及自适应攻击。现有防御手段往往无法识别伪装成普通临床文本的注入内容,而新机制通过强制模型回溯原始证据进行自我校验,填补了这一空白。
事实层面,该研究证实了医疗多智能体系统在缺乏外部验证时的脆弱性;推断层面,这种基于证据链的验证逻辑可能成为高可靠性领域(如金融、法律)多智能体系统的标准配置;猜测层面,若该机制能扩展至非结构化数据场景,或可显著降低医疗AI部署中的合规风险,但具体实施成本与延迟影响仍需工程验证。
来源:arXiv cs.CL · arxiv.org