arXiv cs.AI· Ruhan Wang, Yucheng Shi, Zongxia Li, Junyao Yang, Zhongzhi Li, Yue Yu, Haitao Mi, Dongruo Zhou, Leoweiliang·· 5 小时前AI 评分65
RiseHarness 框架通过迭代优化执行层提升长程终端 Agent 的可靠性
Harness Self-Evolution for Long-Horizon Terminal Agents
AI 摘要
该论文提出 RiseHarness 框架,旨在解决长程终端 Agent 在相同配置下重复运行出现随机失败的问题,其核心策略是在不修改模型权重的情况下,通过迭代优化 Agent 的执行框架(Harness)来提升任务执行的可靠性。该方法利用成功运行的轨迹作为参考,分析失败案例中模型动作与命令执行、反馈处理及上下文管理之间的交互差异。
RiseHarness 的关键机制在于结合运行时监控器提取的内部执行痕迹与 Agent 轨迹,构建“执行手册”以定位跨任务的共性缺陷,并自动搜索其他框架中的相关实现作为设计参考。候选修改方案需经过行为检查和重复任务评估,只有带来可测量增益的版本才会进入下一轮迭代,从而将不同框架的适用机制整合进单一执行协议中。实验部分评估了跨模型的可靠性提升,消融了执行证据的作用,并测试了向未见基准的迁移能力。
事实层面,该研究明确区分了模型能力与执行可靠性,强调通过外部框架调整而非微调模型来解决随机错误传播问题;推断层面,这种“固定模型、优化环境”的思路可能改变当前过度依赖大参数模型或强化学习对齐的行业惯性,转向更关注工程化执行层的稳定性建设;猜测层面,若该框架能开源并适配主流 Agent 架构,可能成为提升复杂任务成功率的基础设施,但其对特定执行协议的依赖程度仍需观察。
来源:arXiv cs.AI · arxiv.org