LightVAE

LightVAE框架提升视频自编码器效率

研究人员开发了LightVAE，一个旨在提高视频自编码器在潜在扩散模型中效率的新型压缩框架。该框架区分了3D卷积中的空间计算和时间计算，专门对时间校正组件应用低秩压缩，同时保持空间核的密集性。这种方法结合了块剪枝和探针引导的质量恢复，显著加速了各种模型和硬件（包括NVIDIA H100和RTX 5090 GPU）上的视频VAE解码和编码，同时质量损失极小。