VestigeKV

新研究致力于 LLM KV 缓存压缩，实现高效长上下文推理 · 跟踪 5 个来源

arXiv 上发布的多个研究论文提出了压缩大型语言模型键值（KV）缓存的新颖方法，以解决长上下文推理期间的内存瓶颈。BeaconKV、SGD-KV、VestigeKV 和 Random Attention 等技术旨在通过智能选择或压缩 KV 缓存数据来减少内存使用并提高吞吐量。这些方法包括使用信标查询和摘要引导的诊断、随机驱逐以及利用残余信号，所有这些方法都力求在显著降低内存需求的同时保持准确性。