一篇新的研究论文探讨了在可验证奖励强化学习（RLVR）中奖励粒度对小型语言模型进行数学推理的影响。研究发现，奖励中间步骤的过程级监督在GSM8K基准测试中的准确率显著优于仅奖励最终结果的奖励，准确率提高了近10个百分点。混合奖励结构通常倾向于过程监督，尽管一种过程权重较低的配置显示出一个显著的异常，其表现不如纯粹的结果监督。错误分析表明，基于过程的模型产生了更具结构一致性的推理痕迹，而基于结果的模型则更简洁但容易出现推导错误。 AI
影响 过程级奖励增强了小型语言模型在数学推理方面的能力，有可能提高它们在复杂任务中的可靠性和准确性。
排序理由 学术论文，详细介绍了改进LLM推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
