EviDial 论文指出主流抑郁对话基准将标签一致误判为证据充分

arXiv 2610.27541 提出 EviDial 基准，旨在区分模型预测与临床量表标签的一致性（label agreement）和基于对话文本的证据支持度（evidence-grounded assessment）。该基准包含来自三个来源的 382 个抑郁对话样本及 2,744 个参与者 - 症状单元格，每个单元格被分类为缺失、部分、冲突或充分证据。

审计结果显示，82.8% 的参与者 - 症状单元格缺乏支持相应症状评估的充分文本证据，且不同数据源间存在显著差异。在各类大语言模型家族和提示策略下，尽管基准标签判定为正确的预测中，有 69.2% 至 96.9% 实际上并未得到充分的对话证据支持。此外，分析表明大语言模型评估器之间的高度一致性并不等同于独立的证据判断，这凸显了校准自动化参考面板的必要性。

事实层面，该研究通过广义可推广性理论、多面拉什测量和随机效应潜在类别分析推导了校准后的证据参考。推断层面，现有的基于标签的评估方法可能因混淆标签一致性与实际文本支持而高估了模型在医疗场景下的表现。猜测层面，若行业继续依赖旧基准，可能导致部署到真实临床环境的系统产生隐蔽的幻觉风险，但这需要后续实证验证。