决策模型在 RAG 知识冲突分类任务中表现优于或持平 Gemini 2.5 Flash 且成本更低

该研究评估了 11 个由 7 家提供商提供的专用决策模型，用于解决检索增强生成（RAG）中来源冲突的类型识别问题。实验结果显示，这些模型在 CONFLICTS 基准测试上的准确率介于 50.0% 至 67.0% 之间，其中 10 个模型的准确率达到或超过了作为对照的 Gemini 2.5 Flash（61.3%）。关键优势在于效率，这些决策模型的成本仅为 Gemini 2.5 Flash 的 4 到 39 分之一（部分免费），延迟也降低了 2.6 到 6.0 倍。

针对当前更强大的 Gemini 3.8 Flash（准确率 70.0%），研究者提出了一种级联策略：将每个决策模型最不确定的 25% 查询转发给 Gemini 3.8 Flash。这种混合方案在统计上与直接使用 Gemini 3.8 Flash 的效果相当，但成本仅为后者的 25% 至 37%。此外，研究发现将分类任务分解为多个是/否问题会降低所有模型的准确率，且在一个模型上训练的修复方法无法迁移到其他模型。诊断分析还显示，日期信息对模型判断没有可测量的影响，而不同模型对来源顺序的敏感度差异巨大。

事实层面，决策模型在检测植入的虚假来源时不如大语言模型可靠，但其输出的概率分布仍能区分真实与虚假来源。推断层面，对于追求低成本和高实时性的 RAG 系统，采用专用决策模型进行冲突类型预判是可行的商业路径，特别是结合级联机制可平衡性能与成本。猜测层面，由于特定修复方法缺乏泛化性，未来可能需要针对特定架构重新训练微调，而非依赖通用补丁。