Meta 发布 Muse Spark Open：816B 参数多模态 MoE 模型支持百万上下文与 Agent 工作流

Meta 通过 Hugging Face Blog 正式发布 Muse Spark Open，这是一个面向编码与智能体任务的开放权重多模态大语言模型。该模型总参数量约为 8160 亿，采用混合专家（MoE）架构，每 token 激活约 420 亿参数，上下文窗口上限达 100 万 token。它原生支持文本、图像、音频和视频输入，并针对阅读代码库、编写调试代码及工具调用进行了训练。

在架构细节上，Muse Spark Open 包含 62 层，每层有 256 个专家，每次推理选择 8 个专家运行。模型提供 BF16 和 NVFP4 两种检查点格式，其中 NVFP4 专为 NVIDIA Blackwell GPU 设计，可在单节点 B200 上运行，而 BF16 版本需跨 4 个 H200 节点部署。此外，模型集成了专门的感知编码器处理视觉输入，以及音频编码器处理语音信号，支持将视频帧和音频作为输入序列的一部分。

部署方面，官方提供了 llama.cpp、vLLM、SGLang 和 MLX 等多种推理框架的集成方案，并展示了在 Apple Silicon 芯片上的量化运行表现。微调部分介绍了使用 TRL 框架在 64 张 H100 GPU 上进行 LoRA 适配的方法，仅对注意力层进行训练而冻结专家参数。事实层面确认了模型参数规模与架构配置；推断层面表明该模型旨在降低多模态 Agent 的开发门槛；猜测层面认为其百万上下文能力可能改变长文档与长视频分析的行业标准。