实体
process reward modeling
process reward modeling
PulseAugur coverage of process reward modeling — every cluster mentioning process reward modeling across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Cliff策略通过奖励第一个正确步骤来改进LLM推理
研究人员引入了Cliff,一种用于大型语言模型中具有可验证奖励(RLVR)的强化学习的新型奖励塑造策略。Cliff通过关注中间推理过程,解决了现有方法依赖粗略结果奖励的局限性。该策略识别模型推理过程中的第一个错误,并利用此信号提供token级别的优势,奖励正确的词缀并惩罚后续的错误。实验表明,与标准方法(如on-policy distillation和GRPO)相比,Cliff显著提高了推理性能。
-
Cliff 方法通过奖励正确的前缀来改进 LLM 推理
研究人员推出了一种名为 Cliff 的新颖奖励塑造策略,用于大型语言模型中的可验证奖励强化学习 (RLVR)。Cliff 利用现成的语言模型来精确定位推理过程中的第一个错误,从而将生成过程划分为一个正确的前缀和一个不正确的后缀。这种方法将信号转换为 token 级优势,提供了比传统基于结果的奖励更精细化的反馈。实验表明,Cliff 显著提高了推理性能,优于现有的方法,如 On-Policy Distillation 和 GRPO。