研究人员开发了CALM(Calibrated Allocation for Layer-Head Merging,用于层头合并的校准分配)方法,这是一种减少自回归视频生成中KV缓存内存使用量的新颖方法。与之前应用统一合并率的方法不同,CALM根据不同注意力层和注意力头对令牌合并的敏感度来校准合并率。这种离线校准过程使用注意力输出误差作为视频质量的代理,从而能够有效地确定最优的层头风险图。实验表明,CALM的性能优于统一合并,将LPIPS降低了约21%,同时保持了更高的视频质量。 AI
影响 这项研究可能带来更高效的视频生成模型,降低计算成本并提高可访问性。
排序理由 该项目描述了一篇详细介绍优化视频生成模型新颖方法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →