新的 LOCKS 方法将 LLM 在 1M 上下文下的 KV 缓存读取量大幅削减

一种名为 LOCKS 的新方法已被开发出来，旨在显著减少大型语言模型中的内存带宽瓶颈，尤其是在上下文长度达到一百万个 token 时。传统方法难以应对从 GPU 高带宽内存传输的海量 KV 缓存。LOCKS 通过使用每页奇异值分解 (SVD) 来创建键向量的紧凑摘要，从而使模型能够在不加载完整 KV 缓存的情况下估算页面相关性，以此来解决这一问题。据称，这种方法在结构上是可靠的，与以往依赖固定共享基数的方法不同。 AI

影响 这种方法可以极大地降低在极长上下文窗口下运行的 LLM 的推理成本，使其更易于访问和更高效。

排序理由 该条目描述了一种优化 LLM 推理的新技术方法 (LOCKS)，详细介绍了其理论基础和实现，这构成了研究。 [lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• High Bandwidth Memory
• KV cache
• Locks
• RocketKV
• ShadowKV
• singular value decomposition

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →