实体
XAttention
XAttention
PulseAugur coverage of XAttention — every cluster mentioning XAttention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的ALLOT方法优化视频扩散Transformer的稀疏性
研究人员开发了ALLOT，一种新颖的无训练方法，旨在优化视频扩散Transformer中的稀疏性分配。该技术专门针对块稀疏注意力，这是降低视频数据处理计算成本的关键组成部分。通过估计不同层-步长对对最终视频保真度的敏感性，ALLOT在给定的延迟预算内智能地分配注意力密度。实验表明，ALLOT在HunyuanVideo上与XAttention相比，PSNR提高了11.8 dB，显著优于现有方法。
-
新方法LoSA和HEART加速视频扩散Transformer
研究人员开发了两种新方法LoSA和HEART，通过优化稀疏注意力机制来加速视频扩散Transformer。LoSA通过识别和移除冗余的注意力交互，在无需重新训练的情况下保持近乎无损的保真度，从而实现显著的加速。HEART利用注意力中的头部异质性，在去噪步骤中重用稳定的稀疏掩码，并根据误差敏感性校准阈值，以进一步提高效率。这两种方法都旨在改善视频生成任务的速度-质量权衡，而无需重新训练模型。