DeepSeek 开源 DeepInfer 推理框架及 Token 编解码组件
先了解这件事
DeepSeek 于 10 月 20 日正式开源大规模云服务推理框架 DeepInfer，该框架已用于 DeepSeek V4.1 Flash 的大规模线上推理服务，实现了单一集群每天 155 万亿 Token 的吞吐量，按谷价计算整体收入达到每卡每小时 38 美元。 系统核心在于将 Prefill 与 Decode 阶段物理分离，分别由 8 卡服务器和 64-128 卡超节点承担，并引入自动扩缩容机制以应对流量波动导致的资源空转。在存储层面，DeepSeek 构建了独立的 3FS 集群作为 KVCache 持久化层，提供约 100 PiB SSD 容量，其中 Chatbot 流量的 KVCache 最长保留 7 天，Agent 流量为 3 天；针对滑动窗口注意力（SWA），V4.1 采用 SWA Bounded Replay 策略，不再长期写入 SSD，而是通过重算最近 128 个 Token 来节省存储开销，使总 Prefill 计算量接近减半。 此外，DeepInfer 集成了推测解码框架 DSpark，通过置信度预测动态决定验证 Token 数量而非固定验证 5 个，从而提升 6% 的线上吞吐。同时开源的生产级组件 deepseek-recipe 负责 API 协议到 Token 序列的高效转换，支持特殊 Token 注入防护及长上下文并行 Tokenize。事实部分基于官方披露数据，推断部分涉及对行业推理成本优化的影响，猜测部分需等待第三方实测验证。
摘自 InfoQ 中文
报道时间线
沿着报道，了解事件的不同侧面。
- InfoQ 中文精选DeepSeek 开源 DeepInfer 框架：单集群日吞吐 155 万亿 Token 且 KVCache 可保存 7 天
DeepSeek 于 10 月 20 日正式开源大规模云服务推理框架 DeepInfer，该框架已用于 DeepSeek V4.1 Flash 的大规模线上推理服务，实现了单一集群每天 155 万亿 Token 的吞吐量，按谷价计算整体收入达到每卡每小时 38 美元。 系统核心在于将 Prefill 与 Decode 阶段物理分离，分别由 8 卡服务器和 64-128 卡超节点承担，并引入自动扩缩容机制以应对流量波动导致的资源空转。在存储层面，DeepSeek 构建了独立的 3FS 集群作为 KVCache 持久化层，提供约 100 PiB SSD 容量，其中 Chatbot 流量的 KVCache 最长保留 7 天，Agent 流量为 3 天；针对滑动窗口注意力（SWA），V4.1 采用 SWA Bounded Replay 策略，不再长期写入 SSD，而是通过重算最近 128 个 Token 来节省存储开销，使总 Prefill 计算量接近减半。 此外，DeepInfer 集成了推测解码框架 DSpark，通过置信度预测动态决定验证 Token 数量而非固定验证 5 个，从而提升 6% 的线上吞吐。同时开源的生产级组件 deepseek-recipe 负责 API 协议到 Token 序列的高效转换，支持特殊 Token 注入防护及长上下文并行 Tokenize。事实部分基于官方披露数据，推断部分涉及对行业推理成本优化的影响，猜测部分需等待第三方实测验证。
本事件热度走势
当前热度 9·可比范围峰值 10（10月21日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。