GSP-Curri-DPO

新的课程学习框架通过双难度方法增强大语言模型对齐

研究人员开发了一种新颖的直接偏好优化（DPO）课程学习框架，以提高大语言模型（LLMs）的对齐能力。这种新方法将对齐难度重构为二维空间，同时考虑提示的复杂性和成对可区分性。该框架包括一种静态课程方法（DM-Curri-DPO）和一种更先进的自步学习方法（GSP-Curri-DPO），后者允许模型发现自己的最佳学习轨迹。实验表明，自步学习方法取得了最先进的结果，展示了增强的数据效率和对噪声偏好的鲁棒性。