Conflict-aware DPO

新的DPO方法解决AI训练数据冲突问题

研究人员发现Direct Preference Optimization (DPO) 中一种名为约束漂移（constraint drift）的故障模式，当成对偏好与响应长度或正确性等单点标准冲突时会发生。一项新的诊断方法 $\rho^{*}_{eq}$ 可以根据数据集统计数据预测数据集是否具有自纠正能力或需要干预。为解决此问题，提出了冲突感知DPO (CoDPO)，该方法会降低冲突配对的权重，并使用自适应边距偏移来缓解漂移，同时保留偏好学习。