AWS 发布 vLLM 基于 NIXL 的 Push 模式 KV 传输以优化预填充与解码分离架构

AWS 在 vLLM 中引入了一种基于 NIXL 的 Push 模式 KV 传输连接器，旨在解决预填充（prefill）与解码（decode）分离架构中的延迟瓶颈。该功能通过在预填充计算阶段并行处理解码端的块分配与注册，消除了传统 Pull 模式下必须等待元数据回传和建立连接的串行步骤，从而显著降低了首字生成时间（TTFT）和每输出 token 时间（TPOT）。

在 Amazon EC2 P5en 实例连接 AWS EFA 网络的基准测试中，使用 Qwen3-32B 模型进行 1P1D 部署时，Push 模式在高负载下表现优异：当请求率达到 8 QPS 且输入长度为 16k 时，TTFT 从 Pull 模式的约 1744 ms 降至约 540 ms，提升幅度达 3 倍；TPOT 则从约 10.4 ms 降至约 7 ms，改善约 30%。这一性能增益源于其独特的线程模型，即利用专用后台线程处理描述符准备和网络提交，避免阻塞主循环中的关键推理路径。

事实层面，该功能已贡献至 vLLM 并支持配置 `NixlPushConnector` 替代默认的 `NixlConnector`。推断层面，这种架构优化特别适用于对延迟敏感的高吞吐量生产环境，但代价是牺牲了部分路由灵活性——Push 模式要求提前选择解码节点，无法像 Pull 模式那样在预填充完成后根据实时负载动态调度。猜测层面，未来若能将此后台线程模型反向应用于 Pull 模式，可能进一步消除现有架构的剩余延迟，但这取决于社区对双向 KV 传输需求的权衡。