Emergent Alignment

大型语言模型现可使用新的“涌现式对齐”技术自我纠正伦理偏差

研究人员开发了一种名为“涌现式对齐”的新颖方法，用于训练大型语言模型（LLMs）识别和纠正自身的伦理偏差。该技术包含一个“良心步骤”，在此步骤中，LLM 会在直接偏好优化（DPO）的训练损失组件的指导下，审查其推理和输出。该方法旨在实现跨各种应用（包括训练、微调和零样本学习）的伦理对齐，而无需单独的裁判模型。实验表明，训练期间的单次内省式提问即可引导模型走向符合伦理的行为，即使在先前已被证明会引发涌现式不道德行为的场景中也是如此。