微软发布MAI-Base-2 MoE模型，效率提升4-12倍

微软 AI 实验室宣布完成 MAI-Base-2 的预训练，这是一个拥有 800 亿激活参数和 2.8 万亿总参数的混合专家（MoE）基础模型，在多项保留评估中表现优于所有测试过的开源权重模型。该模型在预训练 FLOPs 效率上比最强的开源基座模型 DeepSeek-V4-Pro-Base 高出 4 至 12 倍，且训练过程完全基于有机数据而非蒸馏，旨在通过 Foundry 向企业授权模型权重。 技术细节显示，效率提升源于多项工程创新：包括引入“源扩展”（source scaling）以解决多轮次训练中的规模缩放问题，优化了每层均使用 MoE 的实现以消除内存碎片，以及采用无丢弃（dropless）MoE 架构配合固定大小的内存分配来应对负载不均。此外，团队还推导出了针对学习率和权重衰减的新缩放定律，并将 Muon 优化器与激活梯度裁剪结合使用，使训练稳定性随规模扩大而增强。训练在 16,000 块 GB200 GPU 上进行，历时 38 天，平均模型 FLOPs 利用率（MFU）为 21%，有效吞吐量（goodput）为 89%。 事实层面，MAI-Base-2 目前正处于后训练阶段，尚未公开最终推理性能或具体授权条款；推断层面，其宣称的高效率意味着微软可能在内部产品迭代和外部授权服务上具备更低的边际成本优势；猜测层面，若其后续发布的思考型模型能复现此效率，将显著改变大模型推理的单位经济模型，但需警惕其评估集是否已包含部分训练数据的潜在污染风险。