实体 EarlySelectKV

EarlySelectKV

PulseAugur coverage of EarlySelectKV — every cluster mentioning EarlySelectKV across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_340155 · Nov 4 · 05:00

EarlySelectKV 优化长上下文 LLM 推理，提高速度并减少内存使用

研究人员开发了 EarlySelectKV，一种优化大型语言模型长上下文推理的新方法。该技术使用来自早期隐藏状态的代理查询来预计算选定的 KV 索引，从而实现更快的路由和更少的内存使用。在 LongBench 和 RULER 等基准测试中，使用 RocketKV、Quest 和 Loki 等 KV 缓存进行的评估表明，吞吐量提高了 12.4%，GPU 内存减少了 11.1%。