PulseAugur
中
实时 02:22:59
English(EN) How to Transfer KV Cache Between LLMs Without Re-Prefill (2.7-25x Faster)

KV 缓存传输将 LLM 推理速度提升高达 25 倍

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种在同一模型家族内不同大小的语言模型之间传输 KV 缓存的方法，显著加快了切换模型时的推理速度。该技术涉及使用岭回归在一个小的校准序列集上拟合一个线性映射器，从而无需重新预填充即可重用 KV 缓存。该方法在各种模型对之间展示了显著的速度提升，范围从 2.7 倍到 25 倍，同时保持了高准确率保留率（73-98%）。 AI

影响 在 LLM 部署中实现更快、更高效的动态路由和模型级联，降低延迟和计算成本。

排序理由 该条目描述了一种提高 LLM 推理效率的新颖技术方法，作为研究发现提出。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

KV 缓存传输将 LLM 推理速度提升高达 25 倍

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Chaeyeon Mia Lee ·

    如何在不重新预填充的情况下转移 LLM 之间的 KV 缓存（速度提高 2.7-25 倍）

    <h2> TL;DR </h2> <p>When you swap between different-sized LLMs in production (14B to 32B, for example), the receiving model has to re-run the entire prefill from scratch. This paper proposes a closed-form linear mapper that transfers the KV cache across models in the same family,…

相关实体

相关话题