LongBench2

新方法实现 LLM 的跨模型 KV 状态共享

研究人员开发了一种新颖的“通用上下文重用层”，它能够实现不同大型语言模型之间的 KV（键值）状态共享，即使这些模型具有不同的架构、分词器和规模。这种跨模型 KV 共享显著减少了预填充期间的冗余计算，从而节省了成本并提高了性能。例如，在 LongBench2 基准测试中，Qwen2.5 模型之间的 KV 状态共享提高了准确性，而 Qwen2.5 和 Gemma-2 模型之间的跨家族共享将预填充成本降低了高达 67%，同时对困惑度影响极小…