RAG 拒答评估中缺失金标准不等于不可回答
先了解这件事
2026年11月2日，arXiv发布论文指出，在对话式RAG基准测试（如MTRAG、RETECO）中，广泛采用的“无金标准即不可回答”评估方法存在严重偏差。实证显示，随着检索器性能提升（nDCG@10从0.18升至0.59），原本被标记为无金标准的上下文中包含正确答案的比例从28%激增至72%，导致该评估方法的精确率从0.68骤降至0.10。Qwen3-4B模型能正确回答其中62%至67%的问题。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CLQwen3 与多检索器实测显示：RAG 拒答评估中缺失金标准不等于不可回答
该论文通过复现 MTRAG 和 RETECO 等对话式 RAG 基准测试发现，当前广泛采用的“无金标准即不可回答”评估捷径存在严重偏差。在 RECOR 赛道中，随着检索器性能提升（nDCG@10 从 0.18 升至 0.59），原本被标记为无金标准的上下文中，实际包含正确答案的比例从 28% 激增至 72%，导致该评估方法的精确率从 0.68 骤降至 0.10。 实证数据显示，Qwen3-4B 模型能正确回答 62% 至 67% 的此类“假阴性”样本，而仅 23% 至 30% 的无金标准样本真正无法作答。这些被误判的答案主要源自针对同一问题的硬负例、其他轮次的金标准或相邻文档块。当使用独立审计模型对 250 个上下文进行盲审时，该偏差进一步显现，且基于内容标签的拒答检测效果远优于单纯依赖检索分数的方法。 事实层面，论文确认了现有基准中相关性标注的不完整性会系统性低估系统能力；推断层面，这意味着高召回率的检索器在评估中反而更容易暴露出标注缺陷，导致模型表现被错误贬低；猜测层面，若行业继续依赖现有标注数据优化拒答策略，可能导致模型过度拒绝有效查询。作者建议后续评估应直接基于内容标签而非金标准存在性来判定拒答行为。
本事件热度走势
当前热度 9·可比范围峰值 9（11月2日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。