研究人员开发了新的方法来改进大语言模型(LLMs)与人类偏好的对齐,即使在处理嘈杂或不完整的数据集时也是如此。一种方法,无偏直接偏好优化(UDPO),在数学上纠正偏好数据中的失真,以实现无偏训练。另一个框架,选择奖励强化学习(RLSR),专注于选择性预测,通过平衡风险和覆盖范围来提高大语言模型的可靠性。此外,一个基于置信区间的校准框架CIC将不确定性分数转换为风险可控的选择性回答规则,为问答系统中的大语言模型响应提供统计保证。 AI
影响 这些进展旨在通过提高大语言模型处理不完美数据和提供置信度估计的能力,使它们在问答等高风险应用中更加可靠和值得信赖。
排序理由 该集群包含多篇关于大语言模型对齐技术的学术论文。
- arXiv
- Direct Preference Optimization
- Hugging Face
- Large Language Models
- Question Answering
- Reinforcement Learning for Selection Reward
- Unbiased Direct Preference Optimization
- Unbiased Reward Model
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →