研究人员开发了SCOPE，一个新颖的无需训练的稀疏注意力框架，旨在提高扩散Transformer（DiTs）在视频处理中的效率。SCOPE通过采用子空间聚类和在线每头Top-K估计方法来解决自注意力的二次成本问题。这种方法允许更具适应性和细粒度的注意力键选择，在保真度和延迟方面均优于现有方法。在测试中，SCOPE在HunyuanVideo数据集上实现了高达1.99倍的速度提升。 AI
影响 该框架可以显著降低使用扩散Transformer进行视频处理任务的计算成本。
排序理由 该集群描述了一篇新的研究论文，其中详细介绍了一个新颖的技术框架，用于提高AI模型的效率。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Diffusion Transformers (DiTs) incur quadratic self-attention cost over spatiotemporal tokens. Existing training-free sparse attention methods often construct sparse masks from block-level or cluster-level proxy scores, which can obscure fine-grained differences among keys and mis…
arXiv:2608.12780v1 Announce Type: new Abstract: Diffusion Transformers (DiTs) incur quadratic self-attention cost over spatiotemporal tokens. Existing training-free sparse attention methods often construct sparse masks from block-level or cluster-level proxy scores, which can obs…