DeepSeek 开源 DeepInfer 并披露单集群日处理 155T token 及每卡时 38 美元收入

DeepSeek 在 PyTorch Conf 期间开源了生产级推理引擎 DeepInfer，该引擎支撑 V4.1 Flash 模型运行，官方披露其单集群吞吐量达每日 155 万亿 token，并在非高峰时段实现每加速卡每小时 38 美元的营收。这一数据基于 96% 的输入缓存命中率，意味着大部分计费 token 并非实时生成，而是复用历史上下文，从而大幅降低了边际计算成本。

尽管 DeepSeek 宣称 DeepInfer 为完全开源，但核心组件如 KV cache 管理、负载均衡及 3FS 存储系统并未公开，vLLM 团队随后复现了其解码阶段性能，显示两者差距在 6% 以内，表明其部分效率增益可被现有开源框架吸收。此外，DeepSeek 同时支持 NVIDIA SM100 和 Huawei Ascend 950，但在不同硬件上的实际产出效率存在显著差异，且社区对本地部署 V4.1 Flash 的可行性持保留态度，认为即便能加载，受限于内存带宽，推理速度可能极低。

事实层面，DeepSeek 确实发布了 DeepInfer 代码库并披露了上述生产指标；推断层面，其高利润率高度依赖于缓存策略带来的流量结构优化，而非单纯的算法突破；猜测层面，关于其未来算力规模扩张至 GW 级别后的单位经济表现仍缺乏独立审计验证。