KV 缓存驱逐保护比评分更重要

研究人员开发了一种管理大型语言模型中 KV 缓存驱逐的新方法，发现结构性保护比评分算法更关键。他们对 Transformer 模型的研究表明，如果没有保护，现有的驱逐策略会显著退化。通过为结构性保护保留一小部分缓存，模型即使在缓存大小有限的情况下，也能恢复相当数量的原始质量。 AI

影响 这项研究强调，KV 缓存驱逐中的结构性保护比评分算法更具影响力，有可能提高 LLM 的效率和性能。

排序理由 该集群包含一篇详细介绍 LLM 中 KV 缓存驱逐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Ada-KV
• Gemma-3-4B
• KV cache
• LongBench
• LRU
• Mistral-7B
• Phi-3.5
• QUEST
• Qwen2.5-3B
• SnapKV
• StreamingLLM
• transformer models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →