RocketKV

新的 LOCKS 方法将 LLM 在 1M 上下文下的 KV 缓存读取量大幅削减

一种名为 LOCKS 的新方法已被开发出来，旨在显著减少大型语言模型中的内存带宽瓶颈，尤其是在上下文长度达到一百万个 token 时。传统方法难以应对从 GPU 高带宽内存传输的海量 KV 缓存。LOCKS 通过使用每页奇异值分解 (SVD) 来创建键向量的紧凑摘要，从而使模型能够在不加载完整 KV 缓存的情况下估算页面相关性，以此来解决这一问题。据称，这种方法在结构上是可靠的，与以往依赖固定共享基数的方法不同。