ScalingAttention

新的 ScalingAttention 框架提升了扩散 Transformer 的视频生成能力

研究人员开发了 ScalingAttention，一个旨在优化扩散 Transformer (DiTs) 视频生成的新框架。该方法通过发现一种在训练过程中对提示不敏感且稳定的内在稀疏注意力拓扑，解决了 DiTs 中全 3D 注意力造成的计算瓶颈。该框架利用 WEST 进行离线块稀疏先验掩码提取，并利用 FAST 进行自适应头稀疏调整，从而在视频生成任务中实现了显著的加速和更高的保真度。