研究人员开发了一个名为Staged-Competence的新框架，利用直接偏好优化（DPO）来改进大语言模型的安全对齐。这种课程学习方法按难度组织偏好数据，并在训练过程中逐步更新参考模型。实验表明，Staged-Competence在保持通用能力的同时，将有害响应率降低了16%，越狱成功率降低了20%。 AI
影响 通过减少有害输出和提高对攻击的鲁棒性来增强大语言模型的安全性。
排序理由 该集群包含一篇研究论文，详细介绍了一种改进大语言模型安全对齐的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
