实体
3D-RoPE
3D-RoPE
PulseAugur coverage of 3D-RoPE — every cluster mentioning 3D-RoPE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SCOPE框架提升扩散Transformer在视频注意力方面的效率
研究人员开发了SCOPE，一个新颖的无需训练的稀疏注意力框架，旨在提高扩散Transformer（DiTs）在视频处理中的效率。SCOPE通过采用子空间聚类和在线每头Top-K估计方法来解决自注意力的二次成本问题。这种方法允许更具适应性和细粒度的注意力键选择，在保真度和延迟方面均优于现有方法。在测试中，SCOPE在HunyuanVideo数据集上实现了高达1.99倍的速度提升。
-
新的 RotateAttention 框架加速了 AI 视频生成
研究人员开发了 RotateAttention，一个新颖的混合精度 INT4 FlashAttention 框架，旨在加速使用 3D 旋转位置嵌入 (3D RoPE) 的基于 DiT 的视频生成模型。该框架解决了在线旋转矩阵与 RoPE 协调的挑战，并优化了注意力矩阵 P 的量化。实验表明，RotateAttention 在保持与全精度模型相当的视频生成质量的同时，实现了显著的加速。