TokenSpeed 构建面向 Agentic 推理的下一代 LLM 推理引擎

InfoQ 整理自 AICon 2026 深圳站的分享，介绍了 TokenSpeed 项目如何从立项到版本迭代，构建一套专为 Agent 推理负载设计的 LLM 推理引擎。该项目旨在解决传统 Chat 类负载优化目标在 Agent 场景下失效的问题，通过分层解耦的系统架构、自动并行编译系统以及针对 Blackwell 平台的深度 Kernel 优化，实现了在延迟约束下的吞吐最大化。

核心事实包括：在 batch size 等于 1 的最小延迟场景下，端到端延迟比 TensorRT-LLM 快 9%；在每用户 100 TPS 的工作点上，每个 GPU 的吞吐高出 11%。架构上采用 C++ 控制面、Python Runtime 和独立 Kernel 子包的分层设计，利用状态机管理请求生命周期，并通过 Placement 系统实现自动并行编译。此外，项目支持 MTP、EAGLE3 等投机解码算法，并在千问 3.5 模型上实现了 100% 到 159% 的性能提升。

推断显示，该引擎的设计原则（如延迟优先、分层解耦）可能成为未来高性能推理系统的标准范式，特别是在处理长上下文和复杂 Agent 工作流时。猜测其开源策略将加速社区对新型注意力机制（如 MLA）和线性注意力模型的适配速度。