论文指出仅验证评分器整体准确率会误导交互式LLM评估中的提示词比较结果

该研究证明在交互式大语言模型评估中，仅使用整体准确率或F1分数来验证自动评分器存在严重缺陷，因为高整体性能可能掩盖特定提示词下的错误分布，导致测量出的提示词效应过大、过小甚至方向相反。作者通过六个模型、180个虚构实体问题和六种提示条件进行了实验，发现尽管在平衡审计中整体F1达到0.916，但不同提示下评分器标记的虚假声称比例在2.6%至33.3%之间波动，且这些估计具有高度不确定性。

核心证据来自一个具体案例：当从“中立询问”改为“断言确定性”时，表面观察到的提升为9.3个百分点，但在引入两个独立的LLM评审员重新评估相同数据后，这一数值降至2.3点，且主要评审员的置信区间包含零，意味着统计上并未确立显著提升。此外，其他两次提示词比较虽然保持了方向一致性，但针对特定提示词的修正尝试因不确定性过大而无法得出确切结论。

事实层面显示，现有评估流程普遍忽略了对比组之间的匹配审计；推断表明，若继续依赖单一的整体指标，大量关于提示词压力效应的研究结论可能失效；猜测部分认为，未来行业需建立包含评分器和评审员不确定性的标准化报告框架，但这需要改变现有的自动化评估流水线。