Morris-James-Stein

新的 PEBS 方法增强了 RLHF 奖励模型的校准

研究人员开发了 PEBS，这是一种新颖的每位评分者经验贝叶斯收缩估计器，旨在改进用于人类反馈强化学习 (RLHF) 的奖励模型的校准。传统方法会汇总标注者偏好并拟合单个全局校准器，这可能会掩盖个体评分尺度的差异。PEBS 通过拟合每位评分者的仿射校准器并将收缩趋向于总体均值来解决此问题，提供了一种无需重新训练基础奖励模型的闭式事后解决方案。该方法已在 PRISM 和 PluriHarms 等基准数据集上证明了均方根误差 (RMSE) 的降低。