Qwen3 与多检索器实测显示：RAG 拒答评估中缺失金标准不等于不可回答

该论文通过复现 MTRAG 和 RETECO 等对话式 RAG 基准测试发现，当前广泛采用的“无金标准即不可回答”评估捷径存在严重偏差。在 RECOR 赛道中，随着检索器性能提升（nDCG@10 从 0.18 升至 0.59），原本被标记为无金标准的上下文中，实际包含正确答案的比例从 28% 激增至 72%，导致该评估方法的精确率从 0.68 骤降至 0.10。

实证数据显示，Qwen3-4B 模型能正确回答 62% 至 67% 的此类“假阴性”样本，而仅 23% 至 30% 的无金标准样本真正无法作答。这些被误判的答案主要源自针对同一问题的硬负例、其他轮次的金标准或相邻文档块。当使用独立审计模型对 250 个上下文进行盲审时，该偏差进一步显现，且基于内容标签的拒答检测效果远优于单纯依赖检索分数的方法。

事实层面，论文确认了现有基准中相关性标注的不完整性会系统性低估系统能力；推断层面，这意味着高召回率的检索器在评估中反而更容易暴露出标注缺陷，导致模型表现被错误贬低；猜测层面，若行业继续依赖现有标注数据优化拒答策略，可能导致模型过度拒绝有效查询。作者建议后续评估应直接基于内容标签而非金标准存在性来判定拒答行为。