Text Template Tokens

扩散 Transformer 研究揭示文本模板标记的隐藏作用

研究人员开发了一种新的文本到图像扩散 Transformer (DiTs) 可解释性框架，揭示了结构化文本模板标记的关键作用。这些通常被忽视的标记充当隐式语义寄存器，在图像生成过程中对物体身份进行因果维持。研究发现，提示语义在被这些模板标记读取之前，会间接注入到图像潜在空间中。这一理解催生了一种无需训练的剪枝规则，可以在对生成质量影响极小的情况下，将注意力计算量（FLOPs）降低 20%。