两篇新研究论文探讨了改进大语言模型（LLMs）与人类偏好对齐的方法。第一篇论文BALIGN提出了一种选择偏好数据以减轻“对齐成本”的策略，该成本会导致大语言模型忘记预训练能力。BALIGN使用基于参考模型对数概率差和词元长度差异等因素的复合风险评分来过滤掉有问题的数据。第二篇论文CRPO解决了以英语为中心的偏好数据问题，提出了一种跨语言框架，利用英语偏好来改进其他语言的对齐。CRPO使用分层结构和响应的相对排序来增强跨多种语言的适应性和性能。 AI
影响 这些方法旨在通过解决关键的对齐挑战来提高大语言模型的性能和可用性，有望带来更强大、更可靠的AI系统。
排序理由 两篇在arXiv上发表的学术论文，详细介绍了大语言模型对齐的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.24192v1 Announce Type: new Abstract: Aligning large language models to human preferences is crucial for real-world deployment but frequently incurs an alignment tax, leading to the catastrophic forgetting of pre-trained general capabilities. While previous works primar…
arXiv:2608.23149v1 Announce Type: cross Abstract: The alignment of Large Language Models heavily relies on English-centric high-quality preference data, which often leads to suboptimal performance in other languages. In this paper, we propose Cross-Lingual Ranking Preference Opti…