跳到正文
原文
arXiv cs.AI· Won Seok Jang, Harry Bhaskar Joshi, Hong Yu·· 5 小时前AI 评分72

多智能体协作在临床任务中并未系统性减少模型幻觉

Does Multi-Agent Collaboration Reduce Hallucination in Clinical Tasks?

AI 摘要

该研究通过评估四个系统(单一大语言模型基线与三种多智能体拓扑)在三个临床任务上的表现,发现多智能体协作能提升任务指标,但并不能保证降低幻觉。研究团队基于事实性与忠实性分类法,不仅评分最终答案,还深入分析了系统生成的推理过程,指出临床决策依赖推理而非仅结论,因此必须测量推理中的幻觉。

在36个模型-系统-任务的对比中,有12个案例显示出显著差异:4个案例幻觉减少,8个案例幻觉增加,且没有任何一个模型同时表现出两种趋势。关键发现是,幻觉水平的变化方向与幅度主要由底层模型决定,而非拓扑结构或智能体数量。自我修正实验进一步证实了这一机制:除Llama-3.2-3B-Instruct外,所有模型在被标记错误后均能减少幻觉;而那个因协作导致幻觉增加的模型获益最大,那个因协作放大幻觉的Llama-3.2-3B-Instruct则完全无法通过协作减少幻觉。

事实层面显示协作只是重新分配了模型已有的能力,并未提供其不具备的能力。推断表明,当前行业将多智能体架构视为解决幻觉问题的通用方案存在误区,实际效果高度依赖基座模型的内在特性。猜测部分认为,未来若需构建高可信度临床系统,应优先优化特定模型的推理质量与对齐策略,而非盲目堆叠智能体数量或改变拓扑结构。

来源:arXiv cs.AI · arxiv.org