Pixel-Space Diffusion Transformers
PulseAugur coverage of Pixel-Space Diffusion Transformers — every cluster mentioning Pixel-Space Diffusion Transformers across labs, papers, and developer communities, ranked by signal.
-
新方法 PixelDense 和 Persistence Forcing 提升扩散模型性能
研究人员开发了两种新颖的技术来增强像素空间扩散模型。PixelDense 通过分别对齐语义和几何特征来改进训练，从而在图像重建和编辑等任务上获得更好的性能。Persistence Forcing (PerF) 利用扩散 Transformer 中的特征专业化，为编码全局结构与局部细节的特征分配不同的细化预算，从而提高了 ImageNet 上的图像生成质量。
-
新方法增强了扩散Transformer在图像生成中的多模态控制
研究人员开发了新的方法来增强使用扩散Transformer（DiTs）的图像生成控制。一种方法，“Appearance Pointers”，使用紧凑型token来指导DiTs，实现对图像元素的精确区域控制，为本地化多模态引导提供了一种模态无关的接口。另一项开发，“DuSPiT”，引入了一种双分支架构，在像素空间扩散Transformer中将全局推理与局部外观建模分开，旨在获得更丰富的细节和更好的效率。对“Pixel-Space Dif…
-
研究发现寄存器 token 可改进像素空间扩散 Transformer
研究人员调查了寄存器 token 在扩散 Transformer (DiTs) 中的效用，并将其与在视觉 Transformer (ViTs) 中的有效性进行了类比。ViTs 通过缓解高范数 patch-token 异常值来受益于寄存器 token，而 DiTs 则不表现出这些异常值，但使用寄存器仍能显示出改进。研究发现，与潜在空间 DiTs 相比，寄存器 token 对像素空间 DiTs 更有益，在更高噪声水平下能产生更清晰的特征图…