Hugging Face 发布 MoE 训练手册：基于 Megatron-LM 的 80 万 GPU 小时实测指南

Hugging Face 团队发布了《Ultimate MoE Training Handbook》，这是一份针对已有稠密模型训练经验者的 Mixture-of-Experts (MoE) 实战指南，核心内容基于在 CSCS Alps 集群上分配的约 80 万 GH200 GPU 小时的训练数据。该手册不仅包含理论章节，更提供了详细的 Megatron-LM Runbook，涵盖硬件测试、镜像构建、稠密基线训练及单节点 MoE 训练对比等具体步骤。

材料中明确区分了事实与模拟：所有源自实际运行的结果均标注为实测，而关于前沿模型的断言则引用其论文、配置或代码，玩具模拟则单独标记。手册第 3 章深入拆解了 MoE 层的各个组件（路由器、路由机制、负载均衡、专家、块布局），并附带了具体的 Megatron-LM 代码片段、监控要点、推荐配置以及前沿 MoE 的选择策略。此外，第 4 章涉及模型服务与强化学习（RL）流程，且这两章内容无需 GPU 即可阅读。

此次发布同步开放了包含 55 张图表的画廊、相关脚本以及 Megatron-LM 推荐标志块的汇总文件。对于正在探索从稠密模型向 MoE 架构迁移的工程团队，这份材料提供了经过大规模算力验证的配置基准和避坑指南，而非仅停留在概念层面的讨论。事实部分严格限定于手册披露的 80 万 GPU 小时数据及代码细节，推断部分仅限于其对工程效率的提升潜力，猜测部分则排除在本文之外。