Xiaohua Feng

新框架利用机器学习遗忘实现成本高效的大语言模型偏好对齐

研究人员开发了一个新框架，将机器学习遗忘技术与大语言模型（LLMs）的偏好对齐相结合。该方法旨在降低传统方法（如基于人类反馈的强化学习 RLHF）的成本和计算强度，后者需要大量的正偏好数据。所提出的名为 Unlearning to Align (U2A) 的方法，通过使用双层优化来选择和加权负面示例，以实现高效地移除负面示例的影响，从而达到最佳性能。实验已证实 U2A 在改善偏好对齐方面的有效性。