Reward-Optimized Score Guidance

新的DTO框架高效对齐文本到图像扩散模型

研究人员推出了一种新颖的框架——直接轨迹优化（DTO），旨在无需计算成本高昂的反向传播即可将文本到图像扩散模型与特定的奖励函数对齐。这种无需训练的方法通过将中间去噪分数和采样噪声视为变量来直接优化采样轨迹。为了解决潜在的分布问题，DTO采用了奖励优化分数引导，该方法将优化分数与预训练模型预测相结合，以确保采样稳定性和理论上保证的奖励改进。实证结果表明，DTO在多个扩散模型和基准测试中均表现出色，在保持高效率的同时，超越了现有的推理时间对齐方法。