Long-Horizon-Terminal-Bench 2.0 发布：将 Agent 评估从二元结果转向持续进程测量

该论文发布了 Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0)，这是一个针对 AI 智能体在长周期工作流中表现的新基准测试，它将评估时间从 90 分钟延长至 3 小时，并引入了每 30 分钟的验证器检查点以记录持续进展。测试包含 77 个跨 13 个领域的任务，其中 31 个为扩展任务，旨在通过过程奖励而非单一的二元状态检查来衡量智能体是否能维持进步。

在涉及 15 个前沿模型的 1,145 次评分运行中，GPT-6-astra 以密集平均奖励 0.69 和 37 个任务达到至少 0.95 的阈值领先，其次是 GPT-5.6-sol（0.67 分，32 个任务）。关键发现显示，在 30 个重构任务中，二元验证器的平均得分仅为 0.221，而基于密集梯度的过程奖励得分高达 0.653，这表明仅依赖最终结果的评估方式丢弃了大量中间进展信息，无法反映智能体在长时间运行中的实际执行质量。

事实层面，LHTB 2.0 通过参数化参考实现生成场景，并保留部分输出用于防止记忆化，同时使用稠密进度阶梯奖励部分进展。推断上，这意味着现有的短周期或结果导向评测可能高估了智能体的可靠性，特别是在需要多步骤协作的工程或科学场景中。猜测方面，随着评估标准向“持续进程”迁移，未来模型训练可能会更侧重于优化中间状态的稳定性而非仅仅追求最终目标的达成，这将改变 Agent 框架的设计重心。