研究人员开发了一种新的语言模型对齐鲁棒偏好优化方法，侧重于列表式监督而非成对监督。该方法解决了由标注者不一致或反馈噪声引起的排序标签不确定性。提出的目标函数，即逐点全变差鲁棒Plackett-Luce目标函数，分解为标称损失和最坏情况修正，使其在计算上可处理。实验表明，这种鲁棒修正可以在标签干净的情况下保持性能，并在噪声条件下增强鲁棒性，从而提高奖励模型排序的候选扩展和外部评估指标的可靠性。 AI
影响 这项研究通过解决偏好数据中的噪声问题，可能带来更可靠、更鲁棒的语言模型对齐。
排序理由 关于LLM对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
