arXiv cs.AI· Riccardo Riccio, Haitz S\'aez de Oc\'ariz Borde, Pietro Li\`o·· 4 小时前AI 评分65
论文提出挑战感知知识招募机制提升多智能体医疗推理准确率
Challenge-Aware Knowledge Recruitment with Meta-Agent Supervision for Medical Multi-Agent Reasoning
AI 摘要
该研究指出大语言模型在标准医疗问答表现强劲,但在复杂推理任务中多智能体辩论往往不如强单模型提示,核心瓶颈在于现有系统仅基于问题本身而非推理过程中的缺口来选择专家或检索知识。作者提出一种挑战感知的自适应招募方案,由外部CHALLENGER检查演进的推理轨迹并识别具体的事实或能力缺口,以此触发针对性的知识检索或讨论中途的专家招募。
在包含9个生物医学数据集共862道题目的MEDAGENTSBENCH硬子集上,实验显示预先检索收益有限,而推理中途的挑战感知检索表现更佳,在多专科骨干架构上将8个数据集的准确率提升,较仅使用Challenger方案增加6个百分点。针对专家招募,自触发适应不可靠,而由Challenger触发的招募将GPT-4.1-mini MedQA准确率从46%提升至54%,且在所有测试的泛化数据集上方向积极。简单组合检索与专家招募反而导致性能下降,表明必须协调自适应干预通道。
事实层面,该工作证明了外部资源介入的时机(in-between vs upfront)和触发信号(gap-specific queries)是决定多智能体医疗推理效果的关键变量。推断层面,这暗示通用多智能体框架若缺乏动态缺口检测机制,可能在复杂任务中陷入无效辩论循环。猜测层面,该机制是否适用于非医疗领域的长程推理仍需验证,但当前结果强烈建议将“何时调用”作为系统设计的首要参数而非默认策略。
来源:arXiv cs.AI · arxiv.org