Latent Compaction

Latent Compaction 技术使用测试时训练来压缩 LLM KV 缓存

研究人员开发了一种名为 Latent Compaction 的新技术，该技术使用测试时训练来压缩大型语言模型中的键值（KV）缓存。该方法通过优化注意力输出和对数归一化器来学习特定文档的紧凑缓存，而无需访问下游问题。在 RULER 和 LongBench 等基准测试上的实验表明，与现有的压缩方法相比，检索准确性有了显著提高，该技术在 Qwen3 和 MiniCPM5 等不同模型规模和系列之间表现出可转移性。