LLM Agent 何时需要人工干预：基于1,403个错误事件的自愈能力实证研究

该研究通过构建ReInBench数据集（含1,259条智能体轨迹和1,403个错误事件），实证分析了LLM Agent在计算机操作与Web任务中的错误模式及自愈机制。研究发现725个错误事件能够自我恢复，且通常仅需数步即可成功，但不同执行模型（Execution LLMs）的自愈表现存在显著差异。这一事实表明，盲目干预并非最优解，部分错误场景下等待自愈反而能提升任务完成率。

研究进一步指出，成功的自愈不仅能解决当前错误，还能帮助智能体从后续同类错误中恢复，从而支持整体任务完成。基于此，作者提出了ReCoF方法用于预测错误是否具备自愈潜力，该方法在ReInBench基准上相比最强基线实现了9.02%的Macro-F1相对提升。这些细节证实了自愈行为具有可预测性，且干预策略应优先针对那些低概率自愈的错误类型。

推断层面，这意味着Agent系统的工程架构需从“遇错即停”转向“动态评估”，将计算资源集中在高价值的人工或外部工具介入上。猜测层面，若ReCoF类预测器能泛化至更复杂的长程任务，可能重塑Agent监控模块的设计标准，但具体部署效果仍需验证其在真实复杂环境中的鲁棒性。