研究人员推出 QEvict，一个新颖的三层 KV 缓存管理系统，旨在改进自回归大型语言模型中的长上下文解码。与永久丢弃被认为不重要的 token 的现有方法不同，QEvict 采用了一种可恢复的驱逐策略。这种方法将高置信度窗口保持为全精度，将中间窗口存储在量化的可恢复层中，并且只删除最不重要的窗口。QEvict 旨在通过允许先前被驱逐的 token 在再次变得相关时被反量化和提升，从而保留更广泛的历史上下文，以减少注意力遗漏并增强各种基准测试中的信息保留。 AI
影响 QEvict 的可恢复 KV 缓存管理可以实现 LLM 中更高效、更有效的长上下文处理，从而可能提高复杂推理和检索任务的性能。
排序理由 该集群包含一篇详细介绍 LLM 推理新技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
