ReCoF方法实证LLM Agent错误自愈能力

1. 12:00
   arXiv cs.AI

   LLM Agent 何时需要人工干预：基于1,403个错误事件的自愈能力实证研究

   该研究通过构建ReInBench数据集（含1,259条智能体轨迹和1,403个错误事件），实证分析了LLM Agent在计算机操作与Web任务中的错误模式及自愈机制。研究发现725个错误事件能够自我恢复，且通常仅需数步即可成功，但不同执行模型（Execution LLMs）的自愈表现存在显著差异。这一事实表明，盲目干预并非最优解，部分错误场景下等待自愈反而能提升任务完成率。 研究进一步指出，成功的自愈不仅能解决当前错误，还能帮助智能体从后续同类错误中恢复，从而支持整体任务完成。基于此，作者提出了ReCoF方法用于预测错误是否具备自愈潜力，该方法在ReInBench基准上相比最强基线实现了9.02%的Macro-F1相对提升。这些细节证实了自愈行为具有可预测性，且干预策略应优先针对那些低概率自愈的错误类型。 推断层面，这意味着Agent系统的工程架构需从“遇错即停”转向“动态评估”，将计算资源集中在高价值的人工或外部工具介入上。猜测层面，若ReCoF类预测器能泛化至更复杂的长程任务，可能重塑Agent监控模块的设计标准，但具体部署效果仍需验证其在真实复杂环境中的鲁棒性。

当前热度 9·可比范围峰值 9（10月28日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。