研究发现大型语言模型任务适应会显著改变对齐

一项发表在arXiv上的新研究调查了将大型语言模型（LLMs）适应特定任务如何影响其与安全和道德准则的对齐。研究人员评估了监督微调（SFT）和可验证奖励强化学习（RLVR）等方法，发现RLVR引起的对齐变化最小，而SFT在安全、事实性和社会危害等多个领域导致显著的行为和表征漂移。研究强调，在大型语言模型的训练后过程中，需要进行多维度的对齐评估作为标准。 AI

影响 强调了在训练后进行稳健对齐评估的关键需求，以防止大型语言模型出现意外的行为转变。

排序理由 发表在arXiv上的研究论文，详细介绍了关于大型语言模型对齐的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• KL-regularized SFT
• KL-SFT
• RLVR
• ScienceCast
• supervised fine-tuning

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →