研究人员开发了 Token2Tile,一种新颖的稀疏注意力算子,旨在加速视频扩散 Transformer。这种无需训练的方法结合了逐查询评分和瓦片执行,利用在线低秩空间来有效地聚类和选择相关的关键 Token。Token2Tile 已在 MiniMax-H3 和 Wan2.1-14B 等模型上实现了显著的端到端加速,生成速度提高了 1.48-1.54 倍,同时保持了具有竞争力的 VBench 分数。在特定数据集上,与现有方法相比,它在 PSNR 方面也显示出显著的改进。 AI
影响 这项研究提供了一种显著加速视频扩散 Transformer 推理的方法,有可能降低计算成本并实现更广泛的应用。
排序理由 这是一篇详细介绍加速 AI 模型新颖技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- FlashAttention 3
- H3 Healthcare Three Hop Index
- Hugging Face
- Sol
- Subblocking concentrations of local anesthetics: effects on impulse generation and conduction in single myelinated sciatic nerve axons in frog
- Token2Tile
- VBench
- video DiTs
- Wan2.1-14B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →