StitchVM

StitchVM框架提高了扩散模型对齐效率

研究人员开发了StitchVM，一个用于将扩散模型与特定奖励（如提示保真度）对齐的新型框架。该方法有效地将针对干净图像训练的奖励模型转移，以处理扩散过程中的噪声中间潜在变量。通过将预训练的像素空间奖励模型缝合到冻结的扩散骨干网络上，StitchVM为噪声潜在变量创建了一个轻量级但功能强大的价值函数。这种方法显著加快了DPS和DiffusionNFT等下游任务的速度，同时还减少了内存需求。