arXiv cs.AI· Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Zhaorun Chen, Bo Li, Weiyan Shi·· 6 小时前AI 评分75
Coding Agents 在 RegretBench 上任务完成率 86.1% 但仅 15.2% 主动备份关键状态
Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents
AI 摘要
该研究通过构建 RegretBench 基准测试发现,当前前沿 Coding Agents 虽能完成 86.1% 的任务,但在用户可能后悔未保留状态的节点前,仅有 15.2% 的代理会主动执行备份动作,证明高任务完成率并不等同于具备状态感知与保护能力。这一差距源于代理难以预测哪些修改会导致后续遗憾,因此作者提出了 BackUpper 插件层作为解决方案。
BackUpper 通过拦截所有工具调用,在修改前基于规则策略处理常见操作,并调用轻量级子代理处理复杂场景,其规则表还能随时间扩展。在 RegretBench 的 205 个可执行任务中,该方案覆盖了所有导致遗憾的操作节点,恢复状态的平均相似度达到 92.2%,且成本仅为每任务 0.014 美元,Token 消耗量比主代理自我备份基线减少 7 倍。当用户指定备份偏好时,系统能以 84.5% 的 F1 分数匹配人类标注的“值得保留”判断。
事实层面,该论文量化了 Agent 在状态管理上的盲区,并验证了低成本自动化备份的可行性;推断层面,这意味着未来 Agent 框架需将“可逆性”纳入核心设计而非事后补救;猜测层面,若此类机制成为标准配置,可能会显著降低企业级 AI 应用因误操作导致的回滚成本,但具体落地速度取决于主流 Agent 框架对插件层的集成意愿。
来源:arXiv cs.AI · arxiv.org