AWS 在 vLLM 中引入双向 KV 传输，使多轮 Agent 工作负载 TTFT 降低最高 3.3 倍

AWS 发布基于 vLLM 的双向 KV 缓存传输机制，允许 Prefill 节点复用 Decode 节点已生成的上下文 KV 块，从而解决 P-D 分离架构下多轮对话重复计算导致的 TTFT 随上下文增长而飙升的问题。该功能通过 NIXL 库实现 D→P 方向的 KV 读取，配合 KV 感知路由器管理元数据流转。

实测数据显示，在 Amazon EC2 P5en 实例与 EFA 网络环境下，Qwen3-32B 模型在长上下文场景下 TTFT 降低 1.6 倍，zai-org/GLM-5-FP8 模型降低 3.3 倍。性能提升源于移除了昂贵的预填充计算开销，尽管增加了约 30ms 至 130ms 的 KV 传输时间，但整体 Prefill 耗时仍显著下降。系统默认保留 KV 块 480 秒，并设定 64 token 的重计算阈值以平衡收益与开销。

事实：该功能已在 vLLM v0.21.0+ 版本开源，需配合特定路由器使用。推断：随着 Agent 应用交互轮次增加，此优化将显著提升推理成本效率。猜测：未来可能扩展至支持更复杂的动态会话状态管理。