Probe-and-Resume揭示终端Agent评估失效原因及恢复方案
先了解这件事
2026年10月16日，arXiv发布论文《Probe-and-Resume》，针对基于终端的计算机使用环境中的测试时搜索（Test-time search）进行研究。研究发现，所评估的蒙特卡洛树搜索（MCTS）配置并未显著提高任务成功率。作者指出导致评估器表现不佳的两个核心原因：一是Agent的观察结果遗漏了评估所需的环境状态，二是中间状态提供的成功证据有限，使得评估器在中间节点仅能比随机猜测略好地排序后续路径。针对上述问题，研究提出了Probe-and-Resume方法以解决评估失效问题。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AIProbe-and-Resume 论文揭示终端 Agent 评估失效原因及探针恢复方案
该研究在基于终端的计算机使用环境中测试了测试时搜索（Test-time search）对 Agent 性能的提升效果，发现所评估的蒙特卡洛树搜索（MCTS）配置并未显著提高任务成功率。作者指出导致评估器（critic）表现不佳的两个核心原因：一是 Agent 的观察结果遗漏了评估所需的环境状态，二是中间状态提供的成功证据有限，使得评估器在中间节点仅能比随机猜测略好地排序后续路径。 针对上述问题，研究提出了 Probe-and-Resume 策略，即仅在 Agent 声称完成任务时才调用评估器，并赋予评估器读取、写入和执行权限以访问当前状态与初始状态的副本。这种设计允许评估器通过探针操作和潜在破坏性动作来暴露轨迹中遗漏的隐藏状态。在 Terminal-Bench 2.1 基准测试中，该策略相比传统 MCTS 将成功率提高了 8.4 个百分点，且达到了 Codex CLI Agent 的水平，但成本不到其一半。 事实层面，该论文证明了在部分可观测的终端环境中，频繁的中途评估不仅无效反而可能误导搜索方向；推断层面，这表明构建高可靠性的 Agent 系统需重新设计评估触发机制，从“过程监控”转向“结果验证”；猜测层面，若将此探针机制扩展至图形界面或多模态环境，可能会进一步解决复杂任务中的状态对齐问题，但这需要后续实验验证。
本事件热度走势
当前热度 9·可比范围峰值 9（10月16日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。