PulseAugur
中
实时 12:58:50
English(EN) KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

KVEraser 为 LLM 提供高效的 KV 缓存编辑

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 KVEraser，一种从大型语言模型的 KV 缓存中高效擦除特定信息的新颖方法。该技术解决了局部上下文编辑的挑战，在这种编辑中，删除一段信息通常需要重新计算所有后续的 token。KVEraser 学习用专门的引导状态替换被擦除区间的 KV 状态，从而在保持性能的同时显著降低计算成本和延迟。 AI

影响 通过实现对 LLM 内存更快、更便宜的编辑，该技术有望显著提高 LLM 在长上下文应用中的效率和响应能力。

排序理由 该集群包含一篇详细介绍 LLM KV 缓存操作新方法的 ist 研究论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li ·

    KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

    arXiv:2606.17034v1 Announce Type: new Abstract: Post-hoc context erasing over the KV cache is challenging because a local edit has a global consequence: once a span has been processed, its influence propagates into the cached states of all subsequent tokens. This issue arises nat…

  2. arXiv cs.CL TIER_1 English(EN) · Pan Li ·

    KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

    Post-hoc context erasing over the KV cache is challenging because a local edit has a global consequence: once a span has been processed, its influence propagates into the cached states of all subsequent tokens. This issue arises naturally in long-context LLM applications, where s…

相关实体

相关话题