Sparse-Attention Indexers

KV 缓存翻译可实现无缝模型交接，无需重新读取上下文

研究人员开发了一种名为 KV 缓存翻译的方法，使一个语言模型能够无缝地从另一个模型接管对话，而无需重新读取整个历史记录。该技术将源模型的缓存映射到目标模型的格式，从而保留上下文并提高效率。该研究展示了在各种模型架构和规模（包括 MLA 潜在表示、线性注意力状态和稀疏注意力索引器）上成功的 KV 缓存翻译，达到了原生质量，并显著缩短了长上下文的首次令牌生成时间。