研究人员开发了 PRKV,一种在长上下文 LLM 推理期间管理 KV 缓存内存的新颖方法。这种无需训练的方法通过将个性化 PageRank 应用于注意力诱导的转换图来估计 token 的全局重要性,从而使影响能够超越简单的近期性或即时注意力。在各种 LLM 系列和任务上进行基准测试,PRKV 在高达 90% 的压缩率下,与现有的驱逐方法相比,表现出有竞争力,同时以最小的开销显著减少了峰值内存使用量。 AI
影响 通过减少长上下文任务的内存消耗来优化 LLM 推理,可能有助于更广泛地采用先进模型。
排序理由 该集群包含一篇详细介绍 LLM 推理优化新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →