跳到正文
原文
The Decoder· Matthias Bastian·· 4 小时前AI 评分75

DeepSeek 开源 DeepInfer 推理引擎以支撑其最快最便宜的 AI 模型

Deepseek open-sources the inference engine that powers its fastest and cheapest AI model

AI 摘要

DeepSeek 在 Apache License 2.0 协议下开源了其内部推理框架 DeepInfer,该框架是支撑其 V4.1-Flash 模型实现大规模快速响应的核心服务软件。这一举措旨在通过降低计算成本和能源消耗,使社区能够更廉价地运行其模型,同时补齐了从模型获取到高效部署的最后一环。

DeepInfer 基于 vLLM 构建,集成了优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。作为配套措施,DeepSeek 还发布了 deepseek-recipe,用于复现官方 API 的 Token 处理逻辑,确保自托管环境的行为与官方服务一致。未来 DeepSeek 模型的代码也将随此策略一同开源。

虽然公司声明的目标是帮助社区降低成本,但这一动作客观上加剧了对 OpenAI 和 Anthropic 等西方提供商的价格压力。在中美 AI 竞争的背景下,此举可能具有政治动机,若西方 AI 企业因此错失增长目标,将对美国经济构成风险。事实层面确认了 DeepInfer 的开源及其技术基础;推断层面认为这将显著压缩自托管场景下的边际成本;猜测层面涉及其背后的地缘政治意图及对西方厂商的具体财务影响。

来源:The Decoder · the-decoder.com