跳到正文
原文
Hacker News · AI· wondersky·· 12 小时前精选AI 评分87

Cloudflare 披露 GLM-5.3 Workers AI 跨租户 KV cache 泄露事件及 SGLang 修复路径

Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)

AI 导读

Cloudflare 于 2026 年 10 月 26 日联合发布安全报告,确认其 Workers AI 平台上的 GLM-5.3 模型存在跨请求 KV cache 泄露问题,导致部分长上下文用户的响应中混入了其他用户的数据。该漏洞影响范围明确为 155 个响应,均发生在 2026 年 8 月 27 日至 9 月 9 日期间,且仅涉及超过 681,280 tokens 的超长提示词。经调查,无证据表明存在恶意利用行为,属于配置与代码逻辑缺陷导致的意外泄露。

技术根因在于 Cloudflare 部署的 SGLang 推理引擎在预填充(prefill)与解码(decode)分离模式下存在状态管理错误。由于预填充 GPU 的 KV cache 池大小(681,280 tokens)小于模型设定的上下文窗口(1,048,576 tokens),当请求超出池容量时,调度器本应拒绝该请求,但实际逻辑将其标记为“待处理”而非“已拒绝”。这导致解码节点接收到了包含旧缓存数据的无效页面,从而生成了包含他人数据的结果。修复方案包括调整配置使池容量匹配上下文长度,以及通过补丁强制在传输前彻底废弃被拒绝的请求,相关修复已在 SGLang v0.5.22 版本中合并。

此事件暴露了高性能推理引擎在分布式场景下对显存页生命周期管理的脆弱性。Cloudflare 建议所有使用 SGLang 进行预填充/解码分离部署的操作者立即升级至 v0.5.22 或应用特定补丁,并实施严格的 KV 池大小校验与延迟释放机制。此外,报告还提出了基于形式化验证和页级标签的长期改进方向,旨在从数学层面杜绝此类内存安全问题再次发生。

推荐理由

报告揭示了 SGLang 在预填充与解码分离架构下的 KV cache 内存复用漏洞,为推理引擎的分布式一致性提供了可验证的工程修复方案。

来源:Hacker News · AI · blog.cloudflare.com