Anagha Radhakrishna Palandye

过程奖励将小型LLM数学推理准确率提升10%

一篇新的研究论文探讨了在可验证奖励强化学习（RLVR）中奖励粒度对小型语言模型进行数学推理的影响。研究发现，奖励中间步骤的过程级监督在GSM8K基准测试中的准确率显著优于仅奖励最终结果的奖励，准确率提高了近10个百分点。混合奖励结构通常倾向于过程监督，尽管一种过程权重较低的配置显示出一个显著的异常，其表现不如纯粹的结果监督。错误分析表明，基于过程的模型产生了更具结构一致性的推理痕迹，而基于结果的模型则更简洁但容易出现推导错误。