AutoOnboarder 论文揭示智能体在沙箱中推理能力下降及自动优化方案

该研究指出将大语言模型智能体置于软件沙箱（harness）中会导致其推理能力丧失，并提出了名为 AutoOnboarder 的自主系统来解决这一问题。该系统模拟人类员工入职培训流程，由一个智能编码 Agent 作为“入职员”对目标 Agent 进行监督，迭代调整基础模型、提示词和沙箱源代码，旨在同时提升性能并降低成本。实验基于基因组测序前置授权表格提交的场景，结果显示自主入职的智能体性能可匹配或超越 Gemini 3.5 Flash 基线，且成本降低高达 29 倍。

尽管取得了显著的成本优势，研究也承认这些智能体仍存在不完美之处，且最终性能在不同案例间差异巨大。作者强调，构建有效的入职系统需要为入职员提供稳健的环境支持，包括结构化的思维接口、受控的互联网访问以及广泛的模型搜索空间。评估数据被隔离在独立的虚拟机上以防止泄露，且入职员仅获得数十个示例。

事实层面，该论文报告了 AutoOnboarder 在特定任务上的表现优于 Gemini 3.5 Flash 且成本低 29 倍的测试结果。推断层面，这表明当前智能体在受限环境中的适应性存在瓶颈，单纯部署而非针对性适配可能导致效能折损。猜测层面，未来若缺乏结构化思维接口等基础设施，此类自动入职系统的泛化能力可能难以突破当前的高方差限制。