PulseAugur
中
实时 18:07:15
English(EN) Accelerating Text-to-Video Generation with Calibrated Sparse Attention

新方法通过稀疏注意力加速文本到视频生成

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了新的方法，通过优化扩散模型中的注意力机制来加速文本到视频的生成。一种方法 CalibAtt，识别并跳过可忽略的 token-to-token 连接，在不牺牲质量的情况下实现了高达 1.58 倍的速度提升。另一种方法 FVAttn，通过使用具有运行时负载均衡的自适应稀疏注意力，解决了视频扩散 transformer 中自注意力的瓶颈，在特定模型上实现了 4.41 倍的注意力速度提升和 2.02 倍的推理速度提升。 AI

影响 稀疏注意力方面的这些进步可以显著降低高质量视频生成所需的计算成本和时间，从而可能实现更广泛的应用和更复杂的应用。

排序理由 该集群包含两篇研究论文，详细介绍了加速视频生成模型的新方法。

在 Apple Machine Learning Research 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新方法通过稀疏注意力加速文本到视频生成

报道来源 [2]

  1. Apple Machine Learning Research TIER_1 English(EN) ·

    Accelerating Text-to-Video Generation with Calibrated Sparse Attention

    Recent diffusion models enable high-quality video generation, but suffer from slow runtimes. The large transformer-based backbones used in these models are bottlenecked by spatiotemporal attention. In this paper, we identify that a significant fraction of token-to-token connectio…

  2. arXiv cs.CV TIER_1 English(EN) · Hao Liu, Chenghuan Huang, Ye Huang, Zhiying Wen, Hao Liu, Mohan Zhang, Chen Li, Ziyang Ma, Jing Lyu, Jiangsu Du ·

    FVAttn：用于视频生成的具有运行时负载均衡的自适应稀疏注意力

    arXiv:2607.16190v1 Announce Type: new Abstract: Video Diffusion Transformers process long spatio-temporal sequences, making self-attention the main bottleneck in high-resolution video generation. Training-free sparse attention reduces this cost, but adaptive Top-$p$ routing creat…

相关实体

相关话题