饱和基准测试下利用解题过程转录评估模型能力

该研究针对 AI 能力快速进步导致基准测试分数饱和、失去区分度的问题，提出利用模型解题过程的完整转录数据（transcripts）而非仅看最终得分来评估能力。通过模拟历史基准饱和场景，作者验证了即使基准准确率已封顶，转录中仍保留预测未饱和项能力的信息。 在对比多种提取协议后，研究发现成对评判（pairwise judging）效果最佳，相比仅使用饱和基准分数的基线方法，其预测误差降低了 5.3 倍。这种能力相关信息分布在转录的各个部分，但高度集中在推理（reasoning）和工具调用（tool-calls）等特定信息通道中。然而，这些方法的预测力在不同分布偏移下并不总是通用，例如在评估 2025 年初推出的首批推理模型时出现了低估现象。 事实层面，饱和基准的转录确实包含超越准确率的预测信号；推断层面，这意味着延长现有基准寿命的关键在于开发能稳健提取这些信号的专用方法；猜测层面，未来若出现新的模型架构或任务类型，现有的转录分析协议可能需要重新校准以避免系统性偏差。