FlowCPO

FlowCPO 提出统一的散度视角用于流模型的偏好对齐

研究人员提出了 FlowCPO，一种使用离线前向 KL 目标来对齐流模型和扩散模型的新方法。该方法通过利用偏好样本和非偏好样本，并无需重新进行模型采样，从而统一了现有的在线强化学习和离线偏好优化技术。FlowCPO 提供了一种基于对比流匹配的可行替代损失函数，该函数是有界的且非负的，与一些现有方法可能无下界不同。在评估中，与 FlowDPO 等基线方法相比，FlowCPO 在域内 GenEval 和 OCR 任务上表现出更好的性能。