研究人员在扩散 Transformer (DiTs) 中识别出“大规模激活”,它们在图像生成和理解中起着关键作用。这些激活集中在一小部分隐藏状态通道中,对于合成精细细节和组织空间信息至关重要。目前正在开发新的方法来调节这些大规模激活,从而在无需额外训练的情况下提高 DiTs 的生成质量和表示能力。 AI
影响 这些发现可能导致扩散模型生成更可控、更高保真度的图像。
排序理由 arXiv 上发表的两篇研究论文详细介绍了关于扩散 Transformer 中大规模激活的发现。
- Adalnot
- arXiv
- Diffusion Transformers
- Eliciting Massive Activation
- MA-driven Detail Guidance
- MA-modulated REPresentation extraction
- Massive Activations
- Transformer++
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →