研究人员推出了一种名为令牌级Bregman偏好优化（TBPO）的新颖方法，用于使用成对偏好来对齐语言模型。与现有关注完整序列的方法不同，TBPO在令牌级别进行优化，这更符合模型生成文本的方式。这种新方法，包括TBPO-Q和TBPO-A等变体，旨在提高各种基准测试的训练稳定性和输出多样性。 AI
影响 引入了一种更原则性的语言模型对齐方法，有可能提高其在各种任务中的性能和稳定性。
排序理由 这是一篇详细介绍语言模型对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →