English(EN) Semantic Cache Distillation: Efficient State Transfer via Reuse and Selective Patching

新方法通过蒸馏KV缓存加速LLM推理

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 04:00

研究人员开发了语义缓存蒸馏（SCD），一个旨在减少分离式LLM推理中通信瓶颈的新框架。SCD用紧凑的语义代码取代原始的键值（KV）缓存传输，将首次令牌时间（TTFT）提高了2.65倍。该方法利用复用和选择性修补来最小化传输成本并截断错误传播，同时保持接近最优的生成质量。 AI

影响减少了分离式LLM推理中的通信开销，可能加速依赖大型模型服务的应用程序。

排序理由该集群包含一篇详细介绍LLM推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Qianli Ma, Zhiqing Tang, Hanshuai Cui, Zhi Yao, Weijia Jia · 2026-06-09 04:00

语义缓存蒸馏：通过复用和选择性修补实现高效状态迁移

arXiv:2606.07684v1 Announce Type: cross Abstract: Disaggregated serving alleviates memory bottlenecks in Large Language Model (LLM) inference but creates a severe communication bottleneck: transmitting high-dimensional Key-Value (KV) caches often dominates time-to-first-token (TT…