Guowei Rong

新的贝叶斯模型可解决LLM训练中的奖励破解问题

研究人员开发了一个名为贝叶斯非负奖励模型（BNRM）的新框架，以解决通过人类反馈强化学习（RLHF）训练的大型语言模型中的奖励破解问题。BNRM使用稀疏、非负的潜在因子生成过程来表示奖励，这有助于解耦和去偏奖励表示，使其对噪声和偏差更具鲁棒性。这种方法提高了不确定性感知的奖励学习能力，并在实证测试中显著缓解了奖励过度优化问题，并在分布变化下表现更好。