医疗LLM Agent在证据冲突下升级失败率高达97%且置信度校准失效

该研究通过400个合成医疗工作流片段评估开放权重模型（1.7B至9.7B参数）在证据缺失、陈旧或冲突时的决策可靠性，发现尽管清洁数据下决策准确率达0.97，但在不确定性触发场景下，模型未能识别出32%至97%的必需升级请求。即使参数量最大的9.7B配置将准确率从0.97降至冲突环境下的0.78，仍无法消除这一差距，表明单纯增加规模不能解决复杂状态下的行动选择问题。

实证数据显示，模型的口头置信度与真实表现严重脱节，期望校准误差（ECE）介于0.10至0.54之间，故障AUROC仅为0.48至0.77，基于开发集调优的仅依赖置信度的策略未带来效用增益。研究引入的透明工作流感知控制器虽能将5:1的错失与不必要升级成本比下的效用提升，并将遗漏升级率降至0.12至0.24，但其规则检测器在面对未见过的同义改写时召回率从1.00骤降至0.00，限制了该控制器的泛化能力。

事实层面，该基准测试明确区分了静态答案准确性与工作流状态下的行动可靠性，指出当前主流模型在医疗等高风险领域的“幻觉”不仅体现在生成内容错误，更体现在关键决策路径的阻断。推断上，现有的Agent路由机制若缺乏针对语义变体的鲁棒性测试，可能在真实部署中产生系统性盲区。猜测部分，虽然文中提到种子聚类统计和原始输出已打包用于审计，但具体跨任务迁移效果仍需进一步验证，目前结论严格限定于该基准覆盖的40个语义种子及其变体范围内。