Chatbot Arena排名模型在相似模型间失效研究

该论文基于180万条Chatbot Arena投票数据，指出Bradley-Terry模型假设的Luce选择公理在评估高度相似的模型时失效。研究发现，同一模型不同版本间的投票决断力是模型预测值的1.37倍，同代不同规模模型间为1.26倍，同一实验室模型间为1.26倍。这种偏差主要源于回答的措辞和格式相似度，而非实际能力差异。 作者提出一个仅需4到6个参数的修正模型，通过专门建模平局情况，在保留集上的预测效果优于包含数百个参数的复杂模型。该修正模型的增益主要集中在平局处理上，且当冻结参数并应用于新发布版本测试时，其改进依然显著。尽管修正后的头对头胜率有所调整，但排行榜的整体排序几乎没有变化。 在引入语言模型裁判和三选项菜单的实验中，近复制模型主要从其孪生模型处获取选票（log-odds偏移+0.10），但在单一提示词内这种偏移较小。事实层面确认了现有排名机制对相似模型区分度不足；推断层面表明榜单可能过度放大细微差异或误判平局；猜测层面认为若不改进评分机制，未来大量微调版本可能导致榜单噪音增加。

摘自 arXiv cs.CL

还没有足够的连续观测数据，暂不绘制趋势。