研究人员开发了一种新的方法来管理大型语言模型中的KV缓存逐出，该方法借鉴了信息瓶颈原理。这种名为CapKV的方法旨在通过直接针对信息保留来保留缓存中最具预测性的信息。实验表明，与现有的基于启发式的方法相比，CapKV在内存效率和生成质量之间提供了更优的平衡。 AI
影响 通过优化KV缓存管理，提高LLM的推理效率和生成质量。
排序理由 学术论文，介绍了LLM推理中KV缓存逐出的新颖理论框架和方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
新理论统一LLM的KV缓存逐出，改善长上下文生成
报道来源 [1]
-
Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective
arXiv:2604.25975v1 Announce Type: cross Abstract: Key-value (KV) caching is essential for large language model inference, yet its memory overhead poses a critical bottleneck for long-context generation. Existing eviction policies predominantly rely on empirical heuristics, lackin…