Diffusion Direct Preference Optimization

新的DDSPO方法增强了扩散模型与用户意图的对齐

研究人员推出了一种新颖的训练扩散模型的方法——直接扩散评分偏好优化（DDSPO），使其能更好地与用户意图和美学质量对齐。与以往依赖前向扩散过程近似值的方法不同，DDSPO直接使用对比策略对来监督反向去噪转换。这种新方法可以通过训练独立的获胜和失败模型来实现，或者通过利用带有语义变化的预训练参考模型来实现，无需奖励建模或手动标注。实证结果表明，DDSPO的对比策略对监督在文本图像对齐和美学质量方面比现有的基于前向过程的方法更有效。