Attention Separation

扩散Transformer的增益归因于数据增强，而非token交互

研究人员调查了扩散Transformer中自我对齐机制的原理，特别是比较了SRA和Self-Flow。他们的发现表明，这些方法的性能提升主要由噪声维度上的数据增强驱动，而不是不同噪声水平之间的token交互。该研究引入了一种称为注意力分离（Attention Separation）的技术来分离这些因素，该技术出人意料地没有降低性能，甚至显示出改进，这表明Self-Flow相对于SRA的优势很大程度上归因于数据增强。