World Reward Models 提升 ML Agent 搜索效率

该研究提出 World Reward Models (WRMs) 架构，主张 ML Agent 无需预测程序执行的完整中间过程，只需学习从输入直接选择更优候选程序的决策边界。作者证明，试图预测执行结果的模型无法超越直接选择器，且预测误差会导致基于似然训练的模型倾向于选择表现更差的程序。 实验部分展示了名为 ForeCritic 的 WRM 实现，该模型基于 9B 参数类型决策模型，使用 5000 个已执行程序对的真实反馈数据进行微调。在包含 26 个 ML 任务的 12,438 个保留测试对中，ForeCritic 选择更优程序的成功率为 79.4%，而通用 LLM 裁判仅为 53% 至 62%。当将其集成到 AIDE、ML-Master 和 ForeAgent 等系统中时，平均任务时间缩短了 4.4 至 7.5 倍，同时保持或略微提升了任务得分。 事实层面，该工作通过数学证明和实证数据确立了直接预测决策优于预测过程的理论依据；推断层面，这表明未来构建高效 ML Agent 时，应优先采用基于执行反馈的分类器而非生成式世界模型；猜测层面，若该架构能迁移至代码生成以外的复杂规划任务，可能显著降低 Agent 探索阶段的算力消耗，但具体泛化能力需进一步验证。