RLVR数学语料去重政策审计：高误删率与精度目标落空

该研究审计了16个开源RLVR数学语料库共167万余条训练项，针对6个包含1949道题的基准测试，评估了八种基于精确、词汇和语义匹配的去重政策。研究发现，在预注册的余弦相似度阈值网格（0.80至0.98）中，没有任何一个语义阈值能在校准集上达到90%的保守精度目标；具体而言，在0.80阈值下，59个采样移除样本中有52个（88%）被确认为误删，这一高误删率揭示了当前主流自动化清洗策略在保护训练数据完整性方面的重大风险。 相比之下，现有的裁判裁决（judge-adjudicated）政策在保留集上实现了98.1%的解析精度和98.2%的候选帧召回率，且在六个采样移除案例中未发现确认的误删（仅有一个未解决案例）。尽管这不能证明零风险，但在评估的候选框架内，该政策提供了比语义阈值替代方案更优的精度-召回平衡。研究特别指出，召回率指标仅能衡量候选框架内的污染情况，无法覆盖框架外的潜在问题，因此单纯依赖重叠计数不足以评估清洗质量。 作者发布了审查标签、各政策的决策结果及覆盖度核算数据，旨在支持对清洗可靠性和成本的独立评估，而非仅仅关注重叠数量。事实层面确认了语义阈值清洗的高误删特性与裁判裁决政策的高精度表现；推断层面表明，若继续盲目使用低阈值语义匹配进行大规模RLVR数据清洗，可能导致有效训练信号的非必要流失；猜测层面在于，随着RLVR成为主流训练范式，行业可能需要从纯自动化清洗转向混合人工或半自动裁判机制以平衡效率与数据安全。