English(EN) LOCKS — per-page SVD cuts KV cache reads 10 at 1M context

新的 LOCKS 方法将 LLM 在 1M 上下文下的 KV 缓存读取量大幅削减

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-30 08:55

一种名为 LOCKS 的新方法已被开发出来，旨在显著减少大型语言模型中的内存带宽瓶颈，尤其是在上下文长度达到一百万个 token 时。传统方法难以应对从 GPU 高带宽内存传输的海量 KV 缓存。LOCKS 通过使用每页奇异值分解 (SVD) 来创建键向量的紧凑摘要，从而使模型能够在不加载完整 KV 缓存的情况下估算页面相关性，以此来解决这一问题。据称，这种方法在结构上是可靠的，与以往依赖固定共享基数的方法不同。 AI

影响这种方法可以极大地降低在极长上下文窗口下运行的 LLM 的推理成本，使其更易于访问和更高效。

排序理由该条目描述了一种优化 LLM 推理的新技术方法 (LOCKS)，详细介绍了其理论基础和实现，这构成了研究。 [lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

新的 LOCKS 方法将 LLM 在 1M 上下文下的 KV 缓存读取量大幅削减

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目描述了一种优化 LLM 推理的新技术方法 (LOCKS)，详细介绍了其理论基础和实现，这构成了研究。 [lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 61 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Chaeyeon Mia Lee · 2026-07-30 08:55

LOCKS — 每页 SVD 将 KV 缓存读取量减少 10 倍，支持 1M 上下文

<p>Every decode step loads the entire KV cache from GPU HBM. At 128K tokens that is several GB; at 1M tokens it exceeds 60GB. The bottleneck is memory bandwidth, not compute. The GPU waits while the memory bus transfers data that is likely irrelevant to the current query.</p> <h2…

本文如何被排名

报道来源 [1]

LOCKS — 每页 SVD 将 KV 缓存读取量减少 10 倍，支持 1M 上下文

相关实体

相关话题