Probe-and-Resume 论文揭示终端 Agent 评估失效原因及探针恢复方案

该研究在基于终端的计算机使用环境中测试了测试时搜索（Test-time search）对 Agent 性能的提升效果，发现所评估的蒙特卡洛树搜索（MCTS）配置并未显著提高任务成功率。作者指出导致评估器（critic）表现不佳的两个核心原因：一是 Agent 的观察结果遗漏了评估所需的环境状态，二是中间状态提供的成功证据有限，使得评估器在中间节点仅能比随机猜测略好地排序后续路径。

针对上述问题，研究提出了 Probe-and-Resume 策略，即仅在 Agent 声称完成任务时才调用评估器，并赋予评估器读取、写入和执行权限以访问当前状态与初始状态的副本。这种设计允许评估器通过探针操作和潜在破坏性动作来暴露轨迹中遗漏的隐藏状态。在 Terminal-Bench 2.1 基准测试中，该策略相比传统 MCTS 将成功率提高了 8.4 个百分点，且达到了 Codex CLI Agent 的水平，但成本不到其一半。

事实层面，该论文证明了在部分可观测的终端环境中，频繁的中途评估不仅无效反而可能误导搜索方向；推断层面，这表明构建高可靠性的 Agent 系统需重新设计评估触发机制，从“过程监控”转向“结果验证”；猜测层面，若将此探针机制扩展至图形界面或多模态环境，可能会进一步解决复杂任务中的状态对齐问题，但这需要后续实验验证。