两篇新的研究论文介绍了压缩自回归视觉生成模型KV缓存的方法,以解决内存和计算瓶颈。VAR-Q通过分析通道值分布和结构,专注于无需调优的量化,实现了高达78.5%的内存缩减,且质量损失可忽略不计。NanoKV采用一种面向生成的框架,利用跨token和注意力头的冗余,提供了高压缩率和改进的质量-存储权衡,并提供了一个可选的快速变体以加快计算速度。 AI
影响 这些技术可以显著减小大型视觉生成模型的内存占用和计算成本,从而实现更广泛的部署和更大的批处理大小。
排序理由 两篇在arXiv上发表的学术论文,详细介绍了自回归视觉生成模型中KV缓存压缩的新方法。
- alphaXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- KV cache
- Language Models
- NanoKV
- ScienceCast
- VAR-Q
- Visual Tokens
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →