Long-Horizon-Terminal-Bench 2.0发布,评估时长延至3小时
先了解这件事
2026年10月15日,研究团队在arXiv上发布了Long-Horizon-Terminal-Bench 2.0(LHTB 2.0)评测基准。该基准旨在评估AI智能体在长周期工作流中的表现,将单次评估时间从90分钟延长至3小时,并引入每30分钟的验证器检查点以记录持续进展。测试包含77个跨13个领域的任务,其中31个为扩展任务,通过过程奖励而非单一二元状态来衡量智能体维持进步的能力。目前已有15个前沿模型在该基准上完成了1,145次评分。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.AILong-Horizon-Terminal-Bench 2.0 发布:将 Agent 评估从二元结果转向持续进程测量
该论文发布了 Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0),这是一个针对 AI 智能体在长周期工作流中表现的新基准测试,它将评估时间从 90 分钟延长至 3 小时,并引入了每 30 分钟的验证器检查点以记录持续进展。测试包含 77 个跨 13 个领域的任务,其中 31 个为扩展任务,旨在通过过程奖励而非单一的二元状态检查来衡量智能体是否能维持进步。 在涉及 15 个前沿模型的 1,145 次评分运行中,GPT-6-astra 以密集平均奖励 0.69 和 37 个任务达到至少 0.95 的阈值领先,其次是 GPT-5.6-sol(0.67 分,32 个任务)。关键发现显示,在 30 个重构任务中,二元验证器的平均得分仅为 0.221,而基于密集梯度的过程奖励得分高达 0.653,这表明仅依赖最终结果的评估方式丢弃了大量中间进展信息,无法反映智能体在长时间运行中的实际执行质量。 事实层面,LHTB 2.0 通过参数化参考实现生成场景,并保留部分输出用于防止记忆化,同时使用稠密进度阶梯奖励部分进展。推断上,这意味着现有的短周期或结果导向评测可能高估了智能体的可靠性,特别是在需要多步骤协作的工程或科学场景中。猜测方面,随着评估标准向“持续进程”迁移,未来模型训练可能会更侧重于优化中间状态的稳定性而非仅仅追求最终目标的达成,这将改变 Agent 框架的设计重心。
本事件热度走势
当前热度 9·可比范围峰值 9(10月15日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。