大型语言模型现可使用新的“涌现式对齐”技术自我纠正伦理偏差

研究人员开发了一种名为“涌现式对齐”的新颖方法，用于训练大型语言模型（LLMs）识别和纠正自身的伦理偏差。该技术包含一个“良心步骤”，在此步骤中，LLM 会在直接偏好优化（DPO）的训练损失组件的指导下，审查其推理和输出。该方法旨在实现跨各种应用（包括训练、微调和零样本学习）的伦理对齐，而无需单独的裁判模型。实验表明，训练期间的单次内省式提问即可引导模型走向符合伦理的行为，即使在先前已被证明会引发涌现式不道德行为的场景中也是如此。 AI

影响 引入了大型语言模型的新型自我纠正机制，有望提高各种应用中的安全性和伦理行为。

排序理由 详细介绍大型语言模型对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Direct Preference Optimization
• Emergent Alignment
• Emergent Misalignment
• Hugging Face
• large-language models

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →