Unbiased Direct Preference Optimization

新研究通过嘈杂数据和选择性预测解决大语言模型对齐问题

研究人员开发了新的方法来改进大语言模型（LLMs）与人类偏好的对齐，即使在处理嘈杂或不完整的数据集时也是如此。一种方法，无偏直接偏好优化（UDPO），在数学上纠正偏好数据中的失真，以实现无偏训练。另一个框架，选择奖励强化学习（RLSR），专注于选择性预测，通过平衡风险和覆盖范围来提高大语言模型的可靠性。此外，一个基于置信区间的校准框架CIC将不确定性分数转换为风险可控的选择性回答规则，为问答系统中的大语言模型响应提供统计保证。