arXiv cs.AI· Micha{\l} Remigiusz Janiszewski, Artur Stopa, {\L}ukasz Lenkiewicz, Wojciech Achtelik, Bartosz Gonczarek·· 6 小时前AI 评分68
ALLMTS 通过执行临床指南将 LLM 分诊准确率从 0.47 提升至 0.95
ALLMTS: Automated LLM-based Medical Triage System
AI 摘要
该论文提出自动化基于大语言模型的医疗分诊系统(ALLMTS),旨在解决直接查询 LLM 进行电话分诊时不可靠、过度升级常规病例且无法依据可审计临床标准提供理由的问题。ALLMTS 不直接让模型做决策,而是使其执行商业维护的远程医疗指南:选择适当指南并评估其分诊问题,处置结果由第一个肯定答案按护士遵循的遍历规则确定性地得出。
在包含 14 种处置结果的 566 个合成专家验证场景上测试,ALLMTS 准确率达到 0.95,而原始 LLM 基线仅为 0.47。在一个发布的 50 场景开放基准子集上,ALLMTS 达到 0.98 准确率,与五名护士专家小组记录的 0.944 正确处置率相当。关键差异在于误报率:基线在该子集上的过度分诊率高达 0.50(全数据集为 0.44),而 ALLMTS 将其降至最多 0.02,同时保持低漏报率。
事实层面,该系统通过结构化执行指南而非自由生成实现了性能飞跃;推断层面,这种“语言理解 + 可执行规则”的架构可能成为高合规要求领域(如医疗、法律)的通用范式;猜测层面,若此类方法能推广至其他垂直领域的复杂流程,可能改变当前纯端到端 LLM 应用的开发路径。
来源:arXiv cs.AI · arxiv.org