LSC-DPO

新的LSC-DPO方法增强语言模型对齐

研究人员推出了一种新颖的方法LSC-DPO，用于增强直接偏好优化（DPO）以对齐语言模型。通过动态控制学习信号，LSC-DPO旨在在训练过程中保持最佳敏感度，解决了随着偏好差距增加，标准DPO损失响应性降低的问题。在AlpacaEval 2和MT-Bench等基准测试上的实验表明，LSC-DPO的性能优于现有的DPO方法和其他偏好优化基线。该研究还探讨了初始系数设置如何影响学习轨迹，并提出了一种补偿规则来减少性能变异性。