AWS vLLM 引入双向及 Push 模式 KV 缓存优化多轮 Agent

AWS 在 vLLM 中引入了一种基于 NIXL 的 Push 模式 KV 传输连接器，旨在解决预填充（prefill）与解码（decode）分离架构中的延迟瓶颈。该功能通过在预填充计算阶段并行处理解码端的块分配与注册，消除了传统 Pull 模式下必须等待元数据回传和建立连接的串行步骤，从而显著降低了首字生成时间（TTFT）和每输出 token 时间（TPOT）。 在 Amazon EC2 P5en 实例连接 AWS EFA 网络的基准测试中，使用 Qwen3-32B 模型进行 1P1D 部署时，Push 模式在高负载下表现优异：当请求率达到 8 QPS 且输入长度为 16k 时，TTFT 从 Pull 模式的约 1744 ms 降至约 540 ms，提升幅度达 3 倍；TPOT 则从约 10.4 ms 降至约 7 ms，改善约 30%。这一性能增益源于其独特的线程模型，即利用专用后台线程处理描述符准备和网络提交，避免阻塞主循环中的关键推理路径。 事实层面，该功能已贡献至 vLLM 并支持配置 `NixlPushConnector` 替代默认的 `NixlConnector`。推断层面，这种架构优化特别适用于对延迟敏感的高吞吐量生产环境，但代价是牺牲了部分路由灵活性——Push 模式要求提前选择解码节点，无法像 Pull 模式那样在预填充完成后根据实时负载动态调度。猜测层面，未来若能将此后台线程模型反向应用于 Pull 模式，可能进一步消除现有架构的剩余延迟，但这取决于社区对双向 KV 传输需求的权衡。

AWS 发布基于 vLLM 的双向 KV 缓存传输机制，允许 Prefill 节点复用 Decode 节点已生成的上下文 KV 块，从而解决 P-D 分离架构下多轮对话重复计算导致的 TTFT 随上下文增长而飙升的问题。该功能通过 NIXL 库实现 D→P 方向的 KV 读取，配合 KV 感知路由器管理元数据流转。 实测数据显示，在 Amazon EC2 P5en 实例与 EFA 网络环境下，Qwen3-32B 模型在长上下文场景下 TTFT 降低 1.6 倍，zai-org/GLM-5-FP8 模型降低 3.3 倍。性能提升源于移除了昂贵的预填充计算开销，尽管增加了约 30ms 至 130ms 的 KV 传输时间，但整体 Prefill 耗时仍显著下降。系统默认保留 KV 块 480 秒，并设定 64 token 的重计算阈值以平衡收益与开销。 事实：该功能已在 vLLM v0.21.0+ 版本开源，需配合特定路由器使用。推断：随着 Agent 应用交互轮次增加，此优化将显著提升推理成本效率。猜测：未来可能扩展至支持更复杂的动态会话状态管理。