无标签提示词澄清提升LLM评审一致性但未改善人类对齐

该研究通过预注册协议验证了一种无标签流程：利用多模型评审员在开发集上的分歧来定位并重写模糊的评分标准子项。在SummEval数据集上，该方法将评审员间的Krippendorff's α系数提升了0.069至0.074，显著优于随机编辑条款的控制组，证明基于分歧的选择机制能有效减少模型内部的互评差异。 然而关键事实显示，这种内部一致性的增加并未转化为与人类专家评价的一致性提升。在SummEval、HealthBench和USR Topical-Chat三个数据集的测试中，经过争议条款编辑后的评审结果与人类标注的Kendall τ相关系数未发生可检测的变化（差异为-0.007），且在点估计值上甚至略低于控制组。这表明单纯让模型“互相认同”并不等同于让模型“理解人类意图”。 推断认为，当前依赖模型陪审团（panel）进行自动评估的行业实践存在盲区：评审员之间的共识可能源于共同的系统性偏差而非对真实标准的掌握。猜测这暗示了未来构建更可靠的自动化评估体系时，不能仅追求模型间的统计收敛，必须引入外部的人类反馈信号或更复杂的校准机制来打破模型内部的闭环共识。