LLM调查员证据依赖与结案决策研究

该研究针对大语言模型在事故、缺陷及故障调查中缺乏“何时停止收集证据并结案”的判断能力问题，构建了包含731个经过审计案例的Nautil数据集，涵盖航空、铁路、海事、化工安全及车辆缺陷报告等真实场景。研究发现未经训练的9B模型在97%的情况下会高估现有证据，而即便是能识别正确原因的顶尖模型，仍有91%的情况存在证据过度自信，并在41个官方结论为“原因未定”的案例中错误关闭了17个。 研究者通过三种测试评估模型的结案能力：结案准确率（相对于仅读取来源的基准规则）、证据依赖性（移除依据后是否停止结案）以及结论与缺失项质量。实验表明，使用教师轨迹对9B模型进行微调后，其结案行为开始遵循证据逻辑：移除依据导致其结案率下降26个百分点，证据过度自信从97%降至35%，正确且不过度自信的结论比例从3%提升至43%。此外，仅奖励结案决策的强化学习将平衡准确率从69.2%提升至83.3%，达到教师水平，但代价是证据依赖性略有下降。 事实层面，该工作提供了首个专门针对LLM调查员“结案判断”能力的基准与解决方案，证明了特定领域的监督微调能有效纠正模型的认知偏差。推断层面，这表明通用模型直接应用于高风险决策场景时，必须引入针对“不确定性管理”的专项训练，否则极易产生幻觉性确信。猜测层面，若此类训练策略能推广至法律、医疗诊断等需要严格证据链的领域，可能成为未来专业级Agent落地的关键前置条件，但需警惕强化学习带来的证据依赖性损失可能影响复杂情境下的鲁棒性。