审计发现大语言模型罕见病诊断评估存在严重数据泄露与推理偏差

该研究对用于罕见病诊断的增强型大语言模型系统进行了全面实证审计，揭示主流评估协议中普遍存在的数据泄露问题，指出其高基准准确率无法反映真实临床效用。通过重构最先进的智能体框架并分析超过60,000个来自不同公共和独立临床队列的案例，作者证实候选空间污染人为夸大了模型性能。

关键证据显示，在实施严格的跨数据集隔离后，交叉数据集的平均Recall@1从常规一对多评估下的54.3%显著下降至40.3%（Hedges' g = 0.94）。同时，监督分类器中的类似空间过拟合导致诊断准确率从内部平均的42.9%降至外部队列的16.7%（Cohen's d = 2.01）。研究还量化了模型如何利用临床叙事中的回顾性治疗线索进行推断，以及基础知识库的时间错位如何引发性能波动。

事实层面，现有评估流程未能区分数据泄露与真实医学推理；推断层面，当前宣称的高性能可能主要源于训练数据与测试数据的重叠而非泛化能力；猜测层面，若不加修正，未来基于此类模型的医疗AI产品将面临极高的临床失败风险。结论建议采用结合严格数据隔离协议与标准化基准测试保障的评估框架，以确保罕见病诊断AI的真实鲁棒性。