English(EN) SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad框架通过子二次注意力大幅降低视频Transformer的计算成本

作者 PulseAugur 编辑部 · [2 个来源] · 2026-08-17 13:47

研究人员开发了SQuad，一个子二次注意力蒸馏框架，旨在提高视频扩散Transformer（DiTs）的效率。该新方法降低了自注意力机制的计算成本，该机制通常随token数量呈二次方增长。SQuad实现了O(n√n)的复杂度，显著降低了FLOPs和延迟，同时保持了可比的视频生成质量。 AI

影响这项研究通过降低扩散模型的计算需求，可能实现更高分辨率和更长时间的视频生成。

排序理由该集群描述了一篇详细介绍一种新颖的提高AI模型效率的方法的新研究论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

Hugging Face Daily Papers TIER_1 English(EN) · 2026-08-17 13:47

SQuad：用于高效视频生成的子二次注意力蒸馏

Video Diffusion Transformers (DiTs) spend most of their compute inside the Self-Attention operation, whose cost grows quadratically, $\mathcal{O}(n^2)$, with the number of latent tokens $n$. For the task of video generation, the token count is large, so this term dominates runtim…
arXiv cs.CV TIER_1 English(EN) · Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian · 2026-08-18 04:00

SQuad：用于高效视频生成的子二次注意力蒸馏

arXiv:2608.16585v1 Announce Type: new Abstract: Video Diffusion Transformers (DiTs) spend most of their compute inside the Self-Attention operation, whose cost grows quadratically, $\mathcal{O}(n^2)$, with the number of latent tokens $n$. For the task of video generation, the tok…