arXiv 论文指出配对评估掩盖了提示词对奖励模型评分的显著影响

该研究通过对比人类评分与十八个已发布奖励模型的评分，发现模型评分在提示词间的聚类程度远高于人类评分，例如在 HelpSteer2 数据集上，六个模型的提示间方差占比为 0.34 至 0.64，而人类评分接近零。这一现象表明，传统的成对评估方法因比较同一提示下的两个响应，导致共享的提示词特征被抵消，从而无法检测出评分中由提示词本身驱动的偏差成分。

作者提出了一种基于提示间方差份额、兄弟评分回归和提示替换的人本参考审计方法。实验显示，将原始提示替换为固定指令虽能减弱与提示级人类评分的一致性，但并未消除评分的聚类现象；同时，从全局选择中减去提示均值会降低回答的有用性，且即使训练时打乱提示均值，评分仍对错误提示保持敏感。这些证据说明提示词引入的变异部分既包含噪声也包含有效信息，单纯依赖成对评估无法区分二者。

事实层面确认了现有奖励模型评分存在严重的提示词依赖性，推断这意味着当前基于此类分数的偏好优化（RLHF）或筛选流程可能引入了系统性偏差，而非完全反映模型的真实能力差异。猜测部分认为，若忽略这种提示词效应，可能导致模型在特定提示分布下表现优异但在泛化场景失效，建议后续评估需单独检查提示间变异、对错误提示的敏感度及选择效用。