研究人员推出了一种新颖的大型语言模型(LLM)键值(KV)缓存压缩方法 OVAL,这是长上下文解码的一个重要瓶颈。OVAL 利用输出感知的低秩基来表示缓存中的每个页面,既作为检索索引,也作为存储机制。这种方法可以在保持性能的同时消除精确页面,在各种长上下文基准测试中实现了显著的内存节省。 AI
影响 降低了长上下文 LLM 推理的内存需求,可能支持更广泛的部署和更低的运营成本。
排序理由 这是一篇详细介绍 LLM KV 缓存压缩新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AIME24
- Ashkan Shahbazian
- KV cache
- LongBench-v2
- LVBench
- MATH500
- OVAL
- Page-retrieval sparse attention
- principal component analysis
- Video-MME
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →