ATTUNER

新研究解决KV缓存压缩问题，以实现高效大语言模型推理 · 追踪10个来源

arXiv上发布的多篇研究论文提出了优化大语言模型中键值（KV）缓存的新方法，以提高推理效率并减少内存使用。EchoPress和PatchKV等技术旨在对KV缓存压缩进行剪枝或补偿，而不会显著损失准确性，而ResidualKV和KV-Kaizen等技术则探索自适应压缩策略。此外，ATTUNER和HeadGuard等方法分别侧重于查询端适应和选择性头部保护，以适应LLM智能体和视觉语言模型等特定应用。