Thinking Reward Model

新的“三思而后评”范式增强了视觉生成模型评估

研究人员引入了一种名为“三思而后评”（Think Before You Score）的新范式来评估视觉生成模型。这种方法以思考奖励模型（TRM）为代表，专注于创建适应性强的案例评分标准，并进行评分标准引导的评估，以生成细粒度的、逐点的奖励。为了解决传统方法可能出现的评分两极分化问题，他们还开发了成对双组相对策略优化（PD-GRPO）。实验表明，TRM的性能优于其他开源奖励模型，并能与专有模型竞争，在强化学习中用作奖励信号时能有效改进视觉生成模型。