蚂蚁百灵开源 560B 模型 Ling-3.1-flash：MXFP4 量化将本地部署从 8 卡降至 4 卡

蚂蚁集团百灵大模型于 10 月 15 日开源了名为 Ling-3.1-flash 的混合线性架构模型，该模型在 Hugging Face 和 ModelScope 上提供权重下载，主打在办公、医疗及软件工程等复杂工作流中的高质量表现。

此次发布的重点在于其工程化细节与成本优势。Ling-3.1-flash 拥有约 560B 总参数，每个 Token 激活约 25B 参数，最高支持 1M 上下文。针对本地部署，团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8，使权重占用从约 534GB 降至 292GB，在对应的 Hopper GPU 测试配置中，服务部署由 8 卡降至 4 卡。此外，其混合调用价格约为每百万 Token 0.19 美元，输出速度约为每秒 210 Token。

事实层面，该模型在 GDPVal-AA V2.1 获得 1673 分（ELO），在 HealthBench Professional 得分为 65.35，并在 FrontierSWE 和 Terminal-Bench 4.0 表现出处理复杂工程任务的能力。推断层面，这种通过量化技术大幅降低显存占用的策略，意味着具备服务器级 GPU 的团队能以更低硬件门槛运行此类大参数模型。猜测层面，随着社区已提供 Flash GGUF、Tiny GGUF 等多种适配版本，未来更多轻量化版本可能进一步拓展至个人电脑或移动端场景。