PixArt-Sigma

新方法为模拟内存计算硬件重新校准扩散Transformer

研究人员开发了一种新颖的方法，用于在与模拟内存计算（CIM）硬件一起使用时重新校准扩散Transformer（DiTs）。该方法解决了CIM固有的非理想性如何扭曲分类器自由指导（CFG）信号的问题，而CFG信号对于生成高质量图像至关重要。通过仅在采样过程中调整CFG尺度，该方法有效地恢复了生成质量，显著缩小了由CIM噪声在PixArt-Sigma、PixArt-alpha和DiT-XL/2等各种模型中引起的FID分数差距。