TokenSpeed 分享面向 Agentic 推理的下一代 LLM 引擎架构
先了解这件事
2026年11月3日，InfoQ 中文报道了 TokenSpeed 在 AICon 2026 深圳站的分享。该项目从立项到版本迭代，构建了一套专为 Agent 推理负载设计的 LLM 推理引擎。其核心目标是解决传统 Chat 类负载优化目标在 Agent 场景下失效的问题。通过采用分层解耦的系统架构、自动并行编译系统以及针对 Blackwell 平台的深度 Kernel 优化，TokenSpeed 实现了在延迟约束下的吞吐最大化。报道提及在 batch size 等于 1 的场景下进行了相关性能展示。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- InfoQ 中文TokenSpeed 构建面向 Agentic 推理的下一代 LLM 推理引擎
InfoQ 整理自 AICon 2026 深圳站的分享，介绍了 TokenSpeed 项目如何从立项到版本迭代，构建一套专为 Agent 推理负载设计的 LLM 推理引擎。该项目旨在解决传统 Chat 类负载优化目标在 Agent 场景下失效的问题，通过分层解耦的系统架构、自动并行编译系统以及针对 Blackwell 平台的深度 Kernel 优化，实现了在延迟约束下的吞吐最大化。 核心事实包括：在 batch size 等于 1 的最小延迟场景下，端到端延迟比 TensorRT-LLM 快 9%；在每用户 100 TPS 的工作点上，每个 GPU 的吞吐高出 11%。架构上采用 C++ 控制面、Python Runtime 和独立 Kernel 子包的分层设计，利用状态机管理请求生命周期，并通过 Placement 系统实现自动并行编译。此外，项目支持 MTP、EAGLE3 等投机解码算法，并在千问 3.5 模型上实现了 100% 到 159% 的性能提升。 推断显示，该引擎的设计原则（如延迟优先、分层解耦）可能成为未来高性能推理系统的标准范式，特别是在处理长上下文和复杂 Agent 工作流时。猜测其开源策略将加速社区对新型注意力机制（如 MLA）和线性注意力模型的适配速度。
本事件热度走势
当前热度 9·可比范围峰值 10（11月3日 16:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。