DeepSeek 开源 DeepInfer 推理引擎以支持 V4.1 Flash 模型的大规模服务

DeepSeek 正式开源其内部生产环境使用的推理框架 DeepInfer，该框架专为 DeepSeek-V4.1-Flash 模型设计，旨在提供高性能离线推理能力。此次发布并非通用型推理工具，而是深度适配特定模型架构的工程化方案，核心功能包括优化的内核（如 FlashMLA、DeepGEMM）、并行策略（Attention DP / balanced CP, MoE EP + EPLB）以及异步调度等特性。

材料中披露了具体的性能基准数据：在 4 张 SM100 GPU 上测试 Prefill 阶段，当 batch size 为 736 时，吞吐量达到 65,536 tokens/s/GPU；在 64 张 SM100 GPU 上测试 Decode 阶段，同样表现出高吞吐特征。此外，框架支持 NVIDIA SM100 GPUs 和 Huawei Ascend 950 NPUs，并提供了详细的配置参数，例如通过设置 DEEPINFER_ENABLE_MTP_VARLEN=1 来加速解码过程。

值得注意的是，DeepInfer 基于 vLLM 构建，但引入了大量定制化组件，如 DSpark 和 confidence-scheduled verification 技术，这些是通用框架所不具备的。然而，该框架目前仅支持离线推理，且需要额外的 KV cache 系统和负载均衡机制才能构成完整的服务体系。这表明 DeepSeek 正在探索更精细化的推理优化路径，而非单纯依赖开源社区的标准解决方案。事实层面，DeepInfer 已开源并支持特定硬件；推断层面，这可能意味着 DeepSeek 对其模型架构有高度自信，愿意投入资源进行深度定制；猜测层面，未来可能会推出更多针对其他模型的专用版本。