Gaussian reward models

新框架改进了用于多样化人类偏好的奖励建模

研究人员开发了一个名为 Anchor-guided Variance-aware Reward Modeling 的新框架，以解决标准奖励模型在处理多样化人类偏好时存在的局限性。该方法通过引入两个响应级别的锚点标签来增强现有的高斯奖励模型，解决了根本性的不可识别性问题。该框架在模拟和真实世界数据集的奖励建模以及下游的强化学习（RLHF）任务中都展示了改进的性能。