Fréchet Distributional Post-Training

新的 FD-loss 技术提高了自回归图像生成质量

研究人员开发了一种新的自回归图像生成器后训练技术，称为 Fréchet 分布式后训练（FD-loss）。该方法解决了 token 级交叉熵预训练与生成图像的分布质量评估之间的不匹配问题。通过使用表示空间的 Fréchet 距离作为唯一目标，FD-loss 能够适应预训练的离散生成器。这种方法显示出显著的改进，在各种配置和数据集上，FID 和 FD_r6 分数平均分别降低了 41.4% 和 52.0%。