编码智能体在 ARC-AGI-3 中通过重写脚本而非更新知识实现持续学习

该研究通过白盒分析追踪了一个运行在冻结基础模型上的编码智能体在 ARC-AGI-3 抽象推理任务序列中的学习过程，发现智能体几乎不跨任务复用代码，而是选择重写知识。在七次评估运行中，630 个脚本引用仅有 33 个跨越了任务边界，因为大多数脚本嵌入了当前关卡的特定状态。当遇到新任务时，智能体会丢弃旧脚本中 74% 的内容，仅保留通用规则并生成新的脚本文件。

研究观察到智能体的行为模式存在显著差异：它写入的 Python 脚本会被频繁重写和废弃，而仅由模型读取的文本笔记则只追加不修改，导致矛盾累积并通过日志解决。这种机制使得智能体表现出选择性遗忘而非灾难性遗忘，最昂贵的错误是将不再适用的硬编码值带入新任务。分析完全基于智能体生成的文件和执行日志，未直接访问模型内部参数。

事实层面确认了当前架构下 Agent 缺乏真正的内部状态持久化，依赖外部文件作为记忆载体；推断表明这种“重写式”学习在复杂多任务场景下效率低下且容易积累逻辑冲突；猜测是未来若需提升持续学习能力，可能需要引入更复杂的记忆管理模块或改变文件系统的读写策略，但这与当前冻结模型的设定相悖。