Hindsight-Privileged RLVR

新的RLVR方法在无需分组采样的情况下加速了语言模型训练

研究人员推出了一种新的语言模型训练方法——Hindsight-Privileged RLVR (HP-RLVR)，该方法使用可验证的奖励。这种单次采样方法通过将已完成轨迹的未来结果与其自身因果历史进行比较来分配代币级别的信用。与Group Relative Policy Optimization (GRPO)相比，HP-RLVR在数学和代码生成等任务上展示了更快的训练速度，同时保持了相当的准确性。