Plackett--Luce

新的鲁棒列表式偏好优化方法用于LLM对齐

研究人员开发了一种新的语言模型对齐鲁棒偏好优化方法，侧重于列表式监督而非成对监督。该方法解决了由标注者不一致或反馈噪声引起的排序标签不确定性。提出的目标函数，即逐点全变差鲁棒Plackett-Luce目标函数，分解为标称损失和最坏情况修正，使其在计算上可处理。实验表明，这种鲁棒修正可以在标签干净的情况下保持性能，并在噪声条件下增强鲁棒性，从而提高奖励模型排序的候选扩展和外部评估指标的可靠性。