NanoKV

新方法解决视觉生成模型的KV缓存压缩问题 · 已追踪2个来源

两篇新的研究论文介绍了压缩自回归视觉生成模型KV缓存的方法，以解决内存和计算瓶颈。VAR-Q通过分析通道值分布和结构，专注于无需调优的量化，实现了高达78.5%的内存缩减，且质量损失可忽略不计。NanoKV采用一种面向生成的框架，利用跨token和注意力头的冗余，提供了高压缩率和改进的质量-存储权衡，并提供了一个可选的快速变体以加快计算速度。