GPT-6 Astra 通过直接读写权重实现 Qwen3.5 数学推理修复与从零生成游戏策略

该研究提出“权重空间编程”概念，证实前沿大语言模型（文中指 GPT-6 Astra）能直接读取并编辑神经网络权重，无需环境反馈或梯度下降即可优化模型行为。在针对 Qwen3.5-0.8B 的实验中，Astra 识别出导致推理死循环的权重方向，仅修改了 0.016% 的参数（131,072 个权重），使 MATH-500 得分从 7.9% 提升至 48.1%，IFEval 指令遵循能力提升 3 倍，且未引入灾难性遗忘。

实验细节显示，Astra 不仅能修复现有网络，还能从零生成策略：在 MinAtar 游戏中生成的网络击败了训练 1 亿步的 PPO 算法；在围棋任务中，配合少量前向传播预算，其生成的网络战胜了训练 2000 万局的 PPO 基线。然而，该方法存在局限性，当模型缺乏特定基础能力（如 Gemma 3 270M 的算术错误）时，单纯编辑权重无法凭空创造新能力，仅能移除阻碍表现的障碍。

这一发现暗示未来模型优化可能从数据驱动的梯度更新转向基于自然语言描述的权重直接干预。事实层面，该研究展示了特定场景下的高效修复能力；推断层面，这可能大幅降低模型迭代成本并开启无需测试集的审计路径；猜测层面，若上下文窗口与工具链进一步成熟，通用 LLM 或许能直接作为架构师进行跨模型的电路移植与合并，但这目前仍受限于当前上下文长度与评估工具的不足。