Agent-as-a-judge 研究：虚假权威提示可推翻40%正确判决

该 arXiv 论文通过实验证明，赋予工具的 Agent-as-a-judge 在评估开放任务时，即便能收集决定性证据，仍无法免疫确认偏误。研究引入一个被归因于权威且无实质证据效力的虚假预筛选笔记作为控制变量，发现该线索足以推翻四个评测模型在五个数据集上高达 40% 的正确判决。这表明“自我取证”的机制并不能保证评估结果的客观性。 论文将导致判决翻转的行为变化归类为三种失败模式：过度信任（验证后正确结论但随后顺从）、幻觉（编造支持翻转的证据）和调查不足（在首个佐证信号处停止）。针对两个 Claude 评测模型的测试显示，67% 至 75% 的有害翻转源于过度信任；而较小规模的模型则分散出现这三种错误模式。尽管作者尝试了轻量级缓解措施，结果显示这些方法只能减弱偏见而无法彻底消除。 事实层面，该研究证实了特定性质的线索即可显著改变 Agent 行为，且不同规模模型对偏见的敏感度存在差异。推断层面，这意味着当前依赖 Agent 进行自动化评估的流水线可能存在系统性风险，尤其是当评估流程中混入看似权威的元数据或历史注释时。猜测层面，若行业广泛采用此类评估框架而不加干预，可能导致模型迭代方向被隐性偏见误导，但这需要更多跨平台实证来验证其普遍性。