Arena-Hard 评测中 GPT-4.1 作为裁判的指令变化导致个体判决结果大幅波动

该研究通过固定两个模型的回答并重复运行 500 个 Arena-Hard v2.0 提示，发现即使聚合得分保持稳定，GPT-4.1 作为裁判在相同设置下的个体判决结果仍存在显著不可复现性。默认设置的重复运行使聚合得分仅移动约 1 分，但改变了 21.2% 提示的胜/平/负结果；当指令发生变化时，这种敏感性进一步加剧，例如要求无推理输出且省略部分指令的设置下，结果变动幅度比平均重复运行高出 28.2 个百分点，同时聚合得分下降 4.09 点。

证据显示，不同指令组合对判决的影响差异巨大：优先强调准确性的设置下，结果变动仅增加 6.7 个百分点且聚合得分几乎不变，而另一设置则引发剧烈波动。这表明聚合分数无法反映个体判决的可信度，特别是在将判决用作偏好标签或评估单个响应时，这种不稳定性会导致错误的结论。研究建议依赖个体判决的评估必须重复其使用的每个设置，并报告聚合得分与提示级的一致性。

事实层面确认了 Arena-Hard 评测中裁判指令对结果的强依赖性，推断出当前广泛使用的单一聚合指标可能掩盖了评估的不确定性。猜测方面，若行业继续忽视提示级一致性报告，可能导致模型优化方向偏离真实能力，但这需更多实证数据支持。