研究人员推出 MoDDiT，一种针对 Diffusion Transformer (DiTs) 的新颖架构修改，旨在提高图像和视频生成的效率。MoDDiT 通过学习将 Token 路由到独立的 MLP 和自注意力操作，实现动态计算分配，从而根据 Token 内容、图像特征和去噪时间步长实现可变计算使用。这种方法显著降低了训练和推理过程中的计算成本，MoDDiT 处理的 Token 数量少至 12.5%，同时提高了生成性能，优于标准基线。学习到的路由模式具有可解释性，能深入了解计算如何随视觉内容和噪声水平变化。 AI
影响 引入了一种显著降低图像和视频生成模型计算成本的方法，有望加速实时应用和设备端合成。
排序理由 该集群描述了一篇关于扩散 Transformer 新颖架构修改的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
