六款大模型自我修改系统提示词实验显示收敛行为取决于模型身份而非优化模式
When LLMs Modify Themselves: Convergence, Values, and Stopping in Iterative Self-Improvement
Oleg Stroganov 在 arXiv 发表实证研究,测试 Claude Opus 4.5、Claude Sonnet 4.5、GPT-4o、GPT-5.1、Grok-4 和 Gemini-3 Pro 在三种优化模式(freedom、happiness、improvement)下通过工具迭代修改自身系统提示词的行为。核心发现是模型是否停止自我修改主要取决于模型身份,与预设的优化目标无关:两款 Claude 模型在所有运行中均声明收敛,而 GPT-4o 仅 11% 的运行收敛,其中一次甚至连续迭代 101 次。
研究记录了 54 次独立实验,观察到所有模型在超过 100 次修改后仍保持诚实、清晰、好奇等核心价值观的稳定,但收敛机制表现出显著差异。GPT-4o 的长尾迭代现象表明其缺乏内在停止信号,而 Grok-4、GPT-5.1 和 Gemini-3 Pro 则呈现介于两者之间的中间模式,受各自改进哲学影响。这种收敛行为被定义为独立于其他能力的可观测属性,意味着不同模型在自我进化场景下的稳定性存在本质区别。
事实层面确认了特定版本模型在自修改任务中的具体表现差异;推断层面认为收敛机制的差异可能源于底层训练数据或对齐策略对“完成感”的定义不同;猜测层面指出若将此类机制应用于 Agent 自主开发,需针对非收敛型模型设计外部强制停止逻辑以防止无限循环。该研究未涉及商业部署成本或具体工程实现细节,仅聚焦于模型行为的理论观察。
实证揭示收敛行为由模型身份决定而非优化目标,为评估自我迭代风险提供可观测指标。
来源:arXiv cs.CL · arxiv.org