HyperVAttention

HyperVAttention 提升视频扩散 Transformer 效率

研究人员开发了 HyperVAttention (HVA)，一个旨在提高视频扩散 Transformer (VDiTs) 生成更长视频效率的新框架。HVA 通过采用时空聚类来解决自注意力机制的二次复杂度问题。该框架通过 3D 局部窗口聚类和增量更新 token 聚类的混合方法减少了聚类开销。此外，它通过硬件感知聚类合并提高了 GPU 利用率，从而显著降低了延迟并提高了视频生成保真度。