研究人员开发了 PISA,一种新的无训练分段稀疏注意力方法,旨在提高扩散 Transformer 的效率。PISA 通过泰勒展开近似非关键注意力块来解决这些模型中注意力的二次复杂度,而不是丢弃它们。这种方法可以在不牺牲质量的情况下实现显著的加速,在 Wan2.1-14B 和 Hunyuan-Video 模型上分别实现了 1.91 倍和 2.57 倍的加速,在 FLUX 上实现了 1.2 倍的图像生成加速。 AI
影响 该方法可能导致更快、更高效的图像和视频生成模型。
排序理由 该集群包含一篇详细介绍提高 AI 模型效率新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →