PulseAugur
中
实时 17:16:52
English(EN) Make Your LVLM KV Cache More Lightweight

LightKV 通过压缩视觉 token 来减小 LVLM KV 缓存大小和计算量

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 LightKV，一种新的方法来减少与大型视觉语言模型 (LVLM) 相关联的 GPU 内存开销。通过利用视觉 token 嵌入中的冗余并使用提示感知引导，LightKV 在预填充阶段压缩这些 token。该方法可以将视觉 token 的 KV 缓存大小减半，并将计算量减少高达 40%，同时保持性能。 AI

影响 降低了 LVLM 推理的内存需求，可能在现有硬件上实现更大的模型或更快的处理速度。

排序理由 介绍 LVLM 推理优化新方法的学术论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

LightKV 通过压缩视觉 token 来减小 LVLM KV 缓存大小和计算量

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Xihao Chen, Yangyang Guo, Roger Zimmermann ·

    Make Your LVLM KV Cache More Lightweight

    arXiv:2605.00789v1 Announce Type: new Abstract: Key-Value (KV) cache has become a de facto component of modern Large Vision-Language Models (LVLMs) for inference. While it enhances decoding efficiency in Large Language Models (LLMs), its direct adoption in LVLMs introduces substa…

  2. arXiv cs.CV TIER_1 English(EN) · Roger Zimmermann ·

    Make Your LVLM KV Cache More Lightweight

    Key-Value (KV) cache has become a de facto component of modern Large Vision-Language Models (LVLMs) for inference. While it enhances decoding efficiency in Large Language Models (LLMs), its direct adoption in LVLMs introduces substantial GPU memory overhead due to the large numbe…

相关实体

相关话题