Wan2.2-S2V

EchoCache框架提升音频驱动视频生成效率

研究人员开发了EchoCache，一个旨在显著提高音频驱动视频生成（A2V）模型效率的新型框架。该方法通过采用能量引导的跨模态缓存策略，解决了A2V中使用的扩散模型的计算开销问题。EchoCache利用音频时频能量来指导潜在层级的缓存更新，并包含一个优化效率和内存使用的动态机制。实验表明，EchoCache可以在保持高质量生成和视听一致性的同时，实现显著的加速，例如在Wan2.2-S2V模型上实现了2.46倍的提升。