MAGE 框架利用用户手册指导计算机使用智能体在新软件中的推理与训练

该论文提出 MAGE（Manual-augmented computer use AGent Execution and learning）框架，旨在解决多模态基础模型在未见过的应用程序中执行 GUI 操作时面临的长程程序知识缺失和人工标注数据成本高昂问题。MAGE 通过检索用户手册内容生成显式程序指导，并在推理阶段结合环境交互策略适应版本差异或用户设置变化，从而在不依赖人工演示的情况下优化智能体策略。

实验在六个应用程序上进行，结果显示 MAGE 相比强基线显著提升了任务成功率。其核心机制是将手册转化为可执行的“任务 - 计划”对，引导环境 rollout 至相关状态以生成训练轨迹，实现了手册在推理和训练阶段的统一利用。这一设计减少了对外部人工标注数据的依赖，为智能体快速适配新软件提供了可扩展的解决方案。

事实层面，该研究基于 arXiv 2610.23012 发布，代码已开源；推断层面，该方法可能改变当前 Agent 开发中对大规模人工数据采集的依赖模式；猜测层面，手册质量与版本更新频率将直接影响其在真实场景中的泛化能力，但原文未提供具体行业落地数据。