研究人员开发了一种名为CALM(Calibrated Allocation for Layer-Head Merging)的新方法,用于优化自回归视频生成模型的缓存压缩。该技术通过认识到不同层和注意力头的合并敏感度不同,解决了统一令牌合并的问题。CALM在推理时使用离线校准过程创建固定的风险图,然后指导动态规划,以确定给定缓存预算的最佳合并比例。实验表明,CALM的性能持续优于统一合并,将感知损失降低了约21%,同时保持了更高的视频质量。 AI
影响 优化视频生成模型中的内存使用,可能导致更快、更高效的AI驱动视频创作。
排序理由 研究论文,详细介绍了优化AI模型性能的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CALM
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →