研究人员开发了一种名为 ImpactHO 的新颖方法，以提高大型语言模型 (LLM) 在边缘节点之间传输键值 (KV) 缓存的效率。该方法优先传输 KV 缓存最重要的部分，而不是发送整个缓存，这可能导致在同时进行用户交接时网络带宽饱和。通过按重要性对缓存条目进行排序并传输一小部分信息量最大的数据，ImpactHO 旨在严格的传输窗口内保持推理连续性并最大化用户的平均准确率。 AI
影响 该方法通过优化用户交接期间的数据传输，可以增强基于边缘的 LLM 应用程序的性能和响应能力。
排序理由 该集群描述了 arXiv 学术论文中提出的一种新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
