The Decoder· Maximilian Schreiner·· 3 小时前精选AI 评分84
GPT-6 Astra 通过权重空间编程直接重写其他 AI 模型参数并提升性能
GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights
AI 导读
研究人员提出“权重空间编程”方法,利用语言模型(文中指代实验中的 Astra)直接读取和修改神经网络原始权重,无需传统训练即可改变模型行为。在 Qwen3.5-0.8B 模型上,该方法仅调整 0.016% 的权重,便使 MATH-500 基准准确率从 7.9% 提升至 48.1%,指令遵循能力从 21% 提升至 62%,成功修复了文档中已知的思维循环缺陷。
实验细节显示,Astra 能仅凭权重列表识别网络所玩的游戏或生成的图像形状,甚至在没有训练数据的情况下匹配小模型的训练语言。在生成式实验中,基于规则代码直接生成的权重模型在 Breakout 游戏中得分远超经过 1 亿轮训练的基线模型。然而,该方法存在明显局限:对于 Gemma 3 270M 等本身未出现特定缺陷的模型无法产生可测改进,且未能完全消除 Qwen 模型的思维循环问题,三分之一响应仍达到最大文本长度限制。
事实层面,该研究证实了大模型具备将人类语言与数值权重进行翻译的能力,可用于安全审计或低成本定向优化;推断层面,这标志着模型编辑可能从全量微调转向参数级手术;猜测层面,未来是否会出现针对特定架构的通用权重修复工具尚不确定。实验日志已公开于 GitHub,修改后的 Qwen 模型发布至 Hugging Face,但系统性测量基准仍在规划中。
推荐理由
材料证明大模型可直接通过权重微调实现特定能力跃升,为低成本定向修复提供新范式。
来源:The Decoder · the-decoder.com