RoLA注意力机制提升了用于视频生成的Diffusion Transformer的效率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-10 04:00

研究人员开发了RoLA，一种新颖的注意力机制，旨在提高用于视频生成的Diffusion Transformer（DiTs）的效率。该新方法通过结合稀疏局部分支和压缩全局分支来解决标准自注意力的二次缩放问题，特别克服了与3D旋转位置嵌入（RoPE）的兼容性挑战。RoLA将RoPE集成在低秩特征图之外，实现了真正的跨token聚合，无需额外的位置参数，并实现了线性时间的全局分支。实验表明，RoLA在90%的稀疏度下保持了生成质量，并在Wan2.1-14B等模型上实现了显著的推理加速。 AI

影响 RoLA的效率提升可能会加速高质量视频生成模型的开发和部署。

排序理由该集群包含一篇详细介绍改进AI模型效率的新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

RoLA注意力机制提升了用于视频生成的Diffusion Transformer的效率

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍改进AI模型效率的新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Zekun Zhang, Yixiang Cai, Yuxi Liu, Tengxu Sun, Tianle Liu, Zhoutong Wu, Haoyu Li, Baole Ai, Ang Wang, Jiamang Wang, Lin Qu, Kun Yuan · 2026-09-10 04:00

RoLA：用于高效扩散 Transformer 的旋转定位低秩线性注意力

arXiv:2609.06712v2 Announce Type: replace Abstract: Diffusion Transformers (DiTs) achieve strong video generation quality, but their dense spatiotemporal self-attention scales quadratically with sequence length and quickly becomes the dominant inference bottleneck. Sparse low-ran…

本文如何被排名

报道来源 [1]

RoLA：用于高效扩散 Transformer 的旋转定位低秩线性注意力

相关实体

相关话题