一篇新发表在 arXiv 上的论文挑战了对扩散 Transformer 主干的传统理解,认为其中间激活并非主要指示信号粒度的变化。相反,该研究提出这些激活是预测特定目标(如 \u03b5、u 或 x0)的副产品。研究进一步表明,训练期间预测目标的选择会影响观察到的深度剖面的形状,为 REPA 等应用提供了更细致的解读。 AI
影响 提供了对扩散 Transformer 机制的修正理解,可能改进相关 AI 模型的设计和应用。
排序理由 该集群包含一篇发表在 arXiv 上的研究论文,详细介绍了关于扩散 Transformer 行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →