实体
RocketKV
RocketKV
PulseAugur coverage of RocketKV — every cluster mentioning RocketKV across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
EarlySelectKV 优化长上下文 LLM 推理，提高速度并减少内存使用
研究人员开发了 EarlySelectKV，一种优化大型语言模型长上下文推理的新方法。该技术使用来自早期隐藏状态的代理查询来预计算选定的 KV 索引，从而实现更快的路由和更少的内存使用。在 LongBench 和 RULER 等基准测试中，使用 RocketKV、Quest 和 Loki 等 KV 缓存进行的评估表明，吞吐量提高了 12.4%，GPU 内存减少了 11.1%。
-
新的 LOCKS 方法将 LLM 在 1M 上下文下的 KV 缓存读取量大幅削减
一种名为 LOCKS 的新方法已被开发出来，旨在显著减少大型语言模型中的内存带宽瓶颈，尤其是在上下文长度达到一百万个 token 时。传统方法难以应对从 GPU 高带宽内存传输的海量 KV 缓存。LOCKS 通过使用每页奇异值分解 (SVD) 来创建键向量的紧凑摘要，从而使模型能够在不加载完整 KV 缓存的情况下估算页面相关性，以此来解决这一问题。据称，这种方法在结构上是可靠的，与以往依赖固定共享基数的方法不同。