Bradley-Terry (BT) loss

新的NormBT方法改进了LLM奖励模型训练

研究人员在常用于LLM对齐奖励模型训练的Bradley-Terry (BT)损失函数中发现了一个偏差。这种偏差源于表示距离，其中距离较大的响应对会获得不成比例的强更新，可能掩盖至关重要的细微差别。为解决此问题，该论文提出了NormBT，一种自适应归一化方案，通过重新缩放更新来更好地平衡学习信号并提高奖励模型性能，在RewardBench数据集上显示出超过5%的提升。