The Decoder· Matthias Bastian·· 2 小时前精选AI 评分80
OpenAI 下一代旗舰模型因对齐与可观测性问题推迟,采用循环Transformer架构
OpenAI will reportedly ship at least one model this year but its flagship still needs alignment work
AI 导读
据知情人士透露,OpenAI 计划在年底前发布一到两款新模型,但其核心旗舰产品因需要完成对齐工作而尚未就绪。该模型沿用 Astra 使用的循环 Transformer(Looped Transformers)技术,即通过多次迭代同一层而非单次传递来提升数学与编码性能并降低成本,但这导致部分思考过程转入不可读的内部数值表示中,严重削弱了人类审查者追踪思维链以识别不良行为的能力。
为应对这一挑战,OpenAI 已将约 10% 的总算力资源重新分配至安全与对齐领域,相当于数百兆瓦的数据中心容量,按市场价计算每年需花费数十亿美元。微软曾意外泄露 GPT-6.1 Sol 使用“循环推理”技术的细节,确认其基于与 Astra 相同的权重但减少了推理次数,随后立即删除了相关文档。首席科学家 Jakub Pachocki 已公开承认思维链监测正变得脆弱且呈负面趋势,警告行业不应盲目追求缺乏可读推理的模型。
事实层面,OpenAI 确实在推进新模型发布并调整了算力结构;推断层面,这种架构选择意味着未来模型的内部决策逻辑将更难被外部审计,可能增加监管合规难度;猜测层面,年底前发布的模型数量及是否包含旗舰版仍取决于安全评估的具体结果,目前尚不确定。
推荐理由
材料揭示了Looped Transformer架构在提升推理性能的同时削弱了思维链可观测性,直接修正对下一代旗舰模型发布进度与安全评估可行性的判断。
来源:The Decoder · the-decoder.com