Personalized RewardBench

新基准揭示了大型语言模型个性化的局限性

研究人员推出了 Personalized RewardBench，这是一个旨在评估大型语言模型奖励模型在多大程度上能够捕捉个体用户偏好的新基准。现有的最先进奖励模型在个性化方面显示出显著的局限性，在预测用户偏好方面的准确率仅为 75.94%。与现有方法相比，新基准在诸如 Best-of-N 采样和 Proximal Policy Optimization 等任务中的下游性能显示出更高的相关性，从而证明了其在实际应用中评估奖励模型的效用。