Zhang et al., 2024

KVpop 方法在保持性能的同时大幅减少了 LLM 缓存内存使用量

研究人员开发了 KVpop，一种用于压缩自回归解码中键值缓存的新颖方法，这是大上下文窗口的一个重要瓶颈。KVpop 通过使用未来注意力目标直接监督保留或丢弃决策来学习驱逐策略，在保持高性能的同时实现了显著的内存节省。该方法在 Qwen3-4B 和 Qwen3-8B 等模型的数学推理任务上取得了强劲成果，优于现有的驱逐基线，并显著降低了内存成本。