Cloudflare 在 2026 年 8 月至 9 月期间发生数据泄露,其 Workers AI 上的 GLM-5.3 模型在 155 个响应中暴露了一个租户的 KV 缓存状态片段。这是由于 KV 缓存池大小的配置不匹配以及 SGLang 库的分离服务模式中的一个错误共同导致的。通过增加 KV 池容量并修补 SGLang 以正确处理被拒绝的请求,防止访问过时数据,从而解决了该问题。 AI
影响 强调了在 LLM 部署中,稳健的 KV 缓存管理和 SGLang 的分离服务对于防止租户数据暴露至关重要。
排序理由 文章详细介绍了已部署 AI 模型中的一个特定错误及其修复方法,这属于工具和基础设施范畴,而非新模型发布或重大的行业转变。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →