KVGuard 提出检测 LLM 推理系统 KV 缓存内存漏洞

该论文提出 KVGuard，这是首个针对 LLM 推理系统中 KV Cache 管理的系统性内存安全抽象。现有内存检查器无法检测由 PagedAttention 架构暴露的新型漏洞，如双重释放、越界访问和权限违规，因为这些工具基于 CUDA 地址而非逻辑块表进行推理。KVGuard 通过维护紧凑的阴影块记录每个物理块的请求权限和初始化状态，在 CPU 分配、块表构建及 GPU 查找等边界执行五项安全检查。 原型系统在 vLLM 和 SGLang 上验证，成功覆盖从两个系统补丁历史中收集的 29 个真实世界 KV Cache 安全漏洞，并额外发现了 8 个此前未知的安全违规，且无误报。性能方面，在 Qwen 2.5 14B 模型上的测试显示，vLLM 和 SGLang 的几何平均 TPOT 开销分别为 3.0% 和 7.4%，内存开销最高仅为 0.11%，比 NVIDIA Compute Sanitizer 低两个数量级。 事实层面，KVGuard 解决了特定架构下的内存安全问题；推断层面，这种轻量级方案可能成为未来推理引擎的标准组件；猜测层面，若行业广泛采用，将显著降低因内存错误导致的静默输出损坏风险，但具体实施需考虑不同调度器的适配成本。