LightKV

LightKV 通过压缩视觉 token 来减小 LVLM KV 缓存大小和计算量

研究人员开发了 LightKV，一种新的方法来减少与大型视觉语言模型 (LVLM) 相关联的 GPU 内存开销。通过利用视觉 token 嵌入中的冗余并使用提示感知引导，LightKV 在预填充阶段压缩这些 token。该方法可以将视觉 token 的 KV 缓存大小减半，并将计算量减少高达 40%，同时保持性能。