Harness-Delta Attribution 研究显示智能体进化收益多源于过拟合而非模型泛化

Harness-Delta Attribution (HDA) 评估协议将智能体系统（Agent harness）的进化增益拆解为伪影驱动过拟合、测试时扩展（test-time scaling）带来的提升以及剩余的可泛化改进上限。该研究针对 11 个执行器模型和三个进化框架在数学、编码、创造力和智能体任务上的表现进行分析，发现统计显著的搜索集增益中，54% 平均由过拟合解释，14% 由测试时扩展解释，两者合计在 14 个设置中超过总增益的 50%。

核心证据显示，尽管搜索集表现提升显著，但这些增益往往无法转移到保留任务（held-out tasks），且在实用分布偏移下难以持续。验证信号不足以防止过拟合，这意味着仅凭搜索集指标无法判断智能体系统的真实泛化能力。研究强调，当前 Harness 进化方法中大量性能提升并非来自固定权重模型的内在智能增强，而是通过过度优化提示词、技能和编排代码以适配特定基准所致。

事实层面，HDA 协议已应用于 21 个统计显著的设置并量化了各因素占比；推断层面，现有智能体进化研究可能高估了无需更新权重的泛化潜力；猜测层面，未来若缺乏归因意识，基于搜索集优化的智能体系统在真实场景中的表现可能大幅低于预期。这要求后续研究必须采用归因感知的评估体系，区分真正的泛化改进与基准特化的过拟合现象。