KV-Cache Grafting

KV-Cache嫁接提升小型LLM，实现280万token上下文

研究人员开发了一种名为KV-Cache嫁接的新颖技术，可以在不改变权重的情况下增强小型语言模型。该方法允许将已验证的知识以字节精确的方式恢复到推理上下文中，从而在能力和效率方面取得显著改进。例如，Gemma-4-12B模型在AIME 2025基准测试上的性能在嫁接了已验证的解决方案库后，从80.0%提高到93.3%。这种方法还大大减少了token使用量和能耗，使得上下文窗口高达280万token，而无需额外的内存成本。