RM-NLHF

基于自然语言人类反馈的奖励建模

研究人员引入了一种名为“基于自然语言人类反馈的奖励建模”（RM-NLHF）的新方法，以改进生成奖励模型（GRMs）的训练。使用成对偏好数据的传统方法可能导致GRMs在没有真正理解的情况下猜测正确结果，从而在训练信号中引入噪声。RM-NLHF通过使用人类的自然语言批评来提供更准确的过程奖励信号来解决这个问题，然后用这些信号来训练GRMs。该方法还包括一个元奖励模型（MetaRM），用于从有限的人类批评泛化到更大的数据集。