FVAttn

FVAttn系统通过自适应稀疏注意力提升视频生成Transformer效率

研究人员开发了FVAttn，一个旨在提高视频扩散Transformer效率的新型稀疏注意力系统。该系统通过实现自适应路由和运行时负载均衡，解决了高分辨率视频生成中自注意力造成的瓶颈。FVAttn旨在减少多GPU之间的工作负载异质性，从而在保持具有竞争力的视频质量的同时，显著加快注意力计算和视频生成模型的整体推理速度。