VeriGate

VeriGate 增强 GRPO 以改进 AI 推理模型训练

研究人员开发了 VeriGate，它是 Group Relative Policy Optimization (GRPO) 的一个扩展，旨在改进推理模型的训练。VeriGate 在验证器奖励退化时使用过程监督来解决稀疏监督问题，并将步进分数转换为未来累积奖励，以实现更好的信用分配。该方法在 MATH 数据集上使用 Qwen2.5-Instruct 模型时，平均准确率提高了高达 20%，并减少了零梯度失败和奖励破解等问题，显示出显著的改进。