Jev-as-a-Judge 在 RAG 事实核查中显示低成本模型与前沿 LLM 准确率相当但错误分布不同

该研究对比了非生成式决策模型 Jev 与配置为二分类的前沿 LLM Astra 在 495 条人工标注的 LLM-AggreFact 声明上的表现，两者在常规评分指标上统计无显著差异（配对差值 -0.56 分），但存在 187 倍的成本差距。尽管整体准确率持平，两个系统在 15.2% 的声明上产生分歧，且低成本模型对标注为“不支持”声明的误判率（23.2%）高于前沿模型（14.1%），表明仅看 headline 指标会掩盖部署风险。

实验进一步测试了级联策略：将低成本模型高置信度结果直接输出，低置信度则升级至前沿模型，最终达到 74.10 的得分且每千次调用成本降至 2.92 美元，优于前沿模型的 73.83 分和 8.93 美元成本。然而，控制组实验显示，若随机分配升级任务并消耗相同预算，效果同样优异，这证明节省成本的核心机制是减少了昂贵模型的调用比例（escalation share），而非依赖概率阈值来精准筛选样本。级联方案相比单独使用低成本模型，虽多花费 61 倍成本换取 0.83 分的提升，但其作为更宽松的守卫者特性值得注意。

事实层面，研究已公开所有预测、提示词、定价和代码数据；推断层面，对于 RAG 系统中的事实核查组件，单纯追求单一准确率指标可能导致错误的架构决策，应优先关注错误类型分布；猜测层面，这种基于流量分流的优化逻辑可能适用于其他需要平衡成本与精度的二元分类场景，但具体阈值敏感性需结合特定业务容错率验证。