Reflection 发布 Beam：首个支持 1M 上下文的 501B 开源 MoE 模型及其工程实现

Hugging Face 官方博客宣布 Reflection 实验室推出首款开源模型 Beam，这是一个拥有 501B 总参数但每 token 仅激活 23B 参数的稀疏混合专家（MoE）大语言模型。该模型专注于长上下文推理与智能体任务，原生支持 1M tokens 上下文窗口，并采用 Apache 2.0 协议开源。Beam 在 DeepSWE、SWE Bench Pro 及 AIME 等基准测试中展示了针对代码生成与复杂推理的高性能表现，同时提供了 BF16、FP8 和 NVFP4 三种精度的检查点以适配不同硬件环境。

技术架构上，Beam 采用了独特的残差流设计以保持深层网络稳定性，并在注意力机制上结合了滑动窗口与全局注意力。其核心亮点在于 NVFP4 量化格式，能将模型权重从 1TB 压缩至约 280GB，使得在双卡 B200 或四卡 B300 等单节点配置下即可进行推理服务。此外，模型配套了专用的 Rust 推理框架，并原生支持 vLLM 和 SGLang 等主流部署引擎，内置 DFlash2 推测解码器以提升生成速度。训练方面，官方发布了基于 TRL 的 LoRA 微调指南以及基于 Miles 框架的全参数 GRPO 强化学习配方。

事实层面，Beam 已提供 Transformers、vLLM 和 SGLang 的 Day-0 支持，且 Hugging Face 推出了 $10,000 Hub 积分奖励计划以激励社区构建应用。推断层面，这种通过极致量化与并行策略降低超大模型部署成本的做法，可能加速企业级 AI Agent 在私有云环境的落地进程。猜测层面，虽然官方未明确提及，但考虑到其针对代码任务的优化，Beam 有望成为替代部分闭源商业模型在开发者工具链中的首选开源基座。