CalibAtt

新方法通过稀疏注意力加速文本到视频生成

研究人员开发了新的方法，通过优化扩散模型中的注意力机制来加速文本到视频的生成。一种方法 CalibAtt，识别并跳过可忽略的 token-to-token 连接，在不牺牲质量的情况下实现了高达 1.58 倍的速度提升。另一种方法 FVAttn，通过使用具有运行时负载均衡的自适应稀疏注意力，解决了视频扩散 transformer 中自注意力的瓶颈，在特定模型上实现了 4.41 倍的注意力速度提升和 2.02 倍的推理速度提升。