PulseAugur
中
实时 09:16:49
实体 Reinforcement Learning with Verifiable Rewards

Reinforcement Learning with Verifiable Rewards

PulseAugur coverage of Reinforcement Learning with Verifiable Rewards — every cluster mentioning Reinforcement Learning with Verifiable Rewards across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
34
90 天内 95
发布 · 30天
0
90 天内 0
论文 · 30天
34
90 天内 94
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/5 页 · 共 99 条
  1. TOOL · CL_352203 ·

    AI 引导式脚手架增强语言模型训练

    研究人员开发了 AutoScaffold,这是一个旨在通过强化学习改进语言模型训练的 AI 框架。该系统根据学生模型的学习经验自动生成自适应脚手架,例如策略和提示,无需在训练期间进行人工干预。AutoScaffold 在包括 ALFWorld、问答、数学推理和 GPU 内核生成在内的各个领域都展示了显著的性能提升,优于传统的强化学习基线。

  2. TOOL · CL_342058 ·

    新 RL 方法在无直接验证的情况下增强创意生成

    研究人员开发了 Rubric Curriculum RL (RcRL),这是一种新颖的方法,用于改进在输出难以直接验证的领域(如创意写作或复杂问题解决)中的强化学习。该方法利用了生成内容与其质量验证之间的固有差距,而无需新数据或人工标注。通过采用一个逐步关注不同评分标准并使用成对偏好的课程,RcRL 生成了更具辨别力的奖励信号,从而实现了超越传统方法的持续改进。

  3. TOOL · CL_347835 ·

    RLVR 通过改进解决方案选择来增强模型推理能力,而非知识获取能力

    一项新研究调查了可验证奖励强化学习(RLVR)机制,这是一种显著提高模型推理能力的技术。与普遍认为 RLVR 教会模型新的解决问题技能的看法相反,该研究表明它主要增强了模型访问现有知识的能力。通过分析 OLMo-2-1B 模型在 GSM8K 基准测试上的训练检查点,研究人员发现,尽管首次尝试的准确性有所提高,但模型的根本推理能力并未发生根本性变化。研究得出结论,RLVR 有助于模型更可靠地选择最佳解决方案,而不是获取新解决方案。

  4. TOOL · CL_336244 ·

    新的GRIT框架改进了视觉语言模型推理中的视觉基础

    研究人员推出GRIT,一个旨在改进视觉语言模型(VLMs)中富文本推理的视觉基础的新训练框架。该框架解决了正确但视觉基础错误(CVMR)的问题,即模型在中间步骤中尽管存在视觉感知错误,仍能获得正确答案。GRIT将视觉基础整合到具有可验证奖励的强化学习(RLVR)中,以更好地区分正确和不正确的视觉基础推理。为了便于评估,还开发了一个名为GRIT-Bench的新基准。

  5. TOOL · CL_336214 ·

    新的CRoS指标通过打乱思维链步骤来增强LLM推理

    研究人员引入了CRoS,一种用于评估语言模型思维链(CoT)推理因果关系的新指标。与之前扰动推理步骤的方法不同,CRoS在不改变内容的情况下打乱了这些步骤的顺序,旨在更好地分离真正的因果关系。这种方法旨在防止结果奖励可能带来的信息量减少或自我纠正等问题。在使用Gemma 3-4B模型在Reasoning Gym上进行的评估中,CRoS在准确性、CoT质量和忠实度方面均优于现有的因果关系和结果奖励。

  6. SIGNIFICANT · CL_341265 ·

    Nemotron Labs发布Dory1.0-4B循环语言模型

    Nemotron Labs发布了Dory1.0-4B,一个拥有40亿参数的语言模型,它采用了新颖的循环架构。该设计通过多次应用共享层块,有效地用推理计算换取更好的性能,从而提高了模型的准确性和令牌效率。Dory1.0-4B在各种基准测试中,尤其是在编码和智能体任务上,表现优于更大的模型,并且其检查点现已公开可用。

  7. TOOL · CL_333049 ·

    DUET方法优化RLVR令牌预算,提高质量和速度

    研究人员开发了DUET,一种用于优化可验证奖励(RLVR)的强化学习中令牌预算分配的新颖方法。DUET联合调整提示选择和回滚长度,优于之前仅控制一个维度的现有方法。该方法显著提高了推理质量并减少了训练时间,即使仅使用一半的令牌预算。

  8. TOOL · CL_332980 ·

    新的SCARL方法将语言模型置信度与奖励对齐

    研究人员推出了一种新颖的强化学习技术SCARL,旨在改进语言模型的推理能力。SCARL通过将策略对响应的置信度与其实际奖励对齐,解决了可验证奖励(RLVR)强化学习中的置信度不对齐问题。该方法旨在确保模型高度自信的响应也获得更高的奖励,反之亦然。实验表明,SCARL在Pass@32等基准测试中提高了性能,并在各种估计器和模型骨干上增强了覆盖率和每抽样准确率,同时还保持了策略熵。

  9. RESEARCH · CL_332913 ·

    RLVR 不提供免费午餐:研究发现 pass@1 的提升会带来 pass@k 的成本 · 跟踪 3 个来源

    一篇新的理论论文认为,具有可验证奖励的强化学习(RLVR)并不能从根本上提高语言模型的推理能力。相反,它表明在第一次尝试解决问题(pass@1)时获得的任何提升,都将以在需要多次尝试才能解决的问题(pass@k)上的性能下降为代价。该研究建立了一个数学定理,表明在策略专业化下,这种权衡是 RLVR 的固有属性,这意味着一个指标的改进必然会损害另一个指标。这一发现表明,RLVR 主要是在固定的前沿优化性能,而不是扩展它,任何感知到的收益…

  10. TOOL · CL_327068 ·

    新的LFPO框架高效对齐Diffusion LLM

    研究人员开发了一个名为序列无似然策略优化(LFPO)的新框架,以应对对齐Diffusion大型语言模型(dLLMs)的挑战。与以往在棘手的序列级似然方面遇到困难的方法不同,LFPO将策略对齐表述为离散速度对齐。该方法通过对比性token级更新直接优化去噪logits,提供了一种稳定且低方差的替代方案。实验表明,LFPO在推理和编码基准测试上达到了与现有方法相当或更优的准确性,同时显著加快了推理速度。

  11. RESEARCH · CL_332876 ·

    新的蒸馏方法增强大型语言模型推理和图像生成能力

    研究人员正在开发先进的在线策略蒸馏(OPD)技术,以提高语言模型的性能,特别是在数学推理和文本到图像生成等领域。新的方法,如 Student-Delta On-Policy Distillation (SD-OPD) 和 Student-Prefix Teacher Adaptation (SPTA),旨在通过调整教师的反馈或查询的状态来优化教师指导学生的方式。其他方法,如 StepX-OPD 将能力巩固和几步采样结合用于扩散模型,而…

  12. RESEARCH · CL_326975 ·

    新PICO方法增强LLM在复杂问题上的推理能力

    研究人员推出了一种名为策略兼容强化学习(PICO)的新方法,旨在提高大型语言模型在复杂问题上的推理能力,尤其是在标准强化学习技术表现不佳的情况下。PICO通过确保学习信号既正确又与模型当前策略兼容,解决了可验证奖励强化学习(RLVR)中的“学习悬崖”挑战。该方法使用分布约束联合解码,在令牌级别整合专家数据,同时保持学生模型的相对令牌概率。实验表明,PICO在各种推理任务和代理基准测试中均优于现有的RLVR和离策略方法。

  13. TOOL · CL_324941 ·

    研究论文详细介绍了 LLM 强化学习中的裁剪如何影响熵

    一篇新的研究论文探讨了裁剪机制对大型语言模型(LLM)强化学习的影响。研究表明,“clip-low”会增加熵,促进探索,而“clip-high”会降低熵,可能导致熵崩溃。论文证明,“clip-high”效应通常占主导地位,即使在随机奖励的情况下也会降低熵,并提出通过有意识地调整裁剪参数可以控制熵并防止训练过程中的崩溃。

  14. TOOL · CL_324833 ·

    新的RoAR方法通过惩罚虚假逻辑来增强LLM推理能力

    研究人员开发了一种名为RoAR(Rollout-Agreement Reward)的新方法,用于改进使用基于组的策略优化(GRPO)训练的语言模型的推理能力。通过分析正确答案轨迹之间的一致性,RoAR能够识别并惩罚虚假推理,例如内部不一致或滥用问题条件。在五个数学推理基准上的评估中,一个1.5B的GRPO-RoAR模型仅使用7K个训练示例就达到了55.5%的平均pass@1率,比现有的GRPO方法高出5个百分点以上。随后的审计证实,与…

  15. TOOL · CL_324821 ·

    新的SEPO框架通过引导式探索提升LLM推理能力

    研究人员推出了一种名为自进化策略优化(SEPO)的新型框架,旨在增强大型语言模型(LLM)的推理能力。SEPO通过采用引导式探索和分布内利用策略,解决了现有方法(如具有可验证奖励的强化学习RLVR)的局限性。这种迭代过程使模型能够持续发现和优化解决方案,在各种推理领域展现出更高的效率和性能,甚至在复杂任务或使用较小模型时也能超越基线。

  16. TOOL · CL_324812 ·

    强化学习提升VLM图像质量评估能力,但推理依赖性尚不明确

    一篇新的arXiv论文研究了具有可验证奖励的强化学习(RLVR)对大型视觉语言模型(VLMs)在图像质量评估(IQA)方面的影响。研究发现,经过RL训练的模型优于基础模型,其改进归因于增强的推理能力,这可以通过更合理的思维链(CoT)输出来证明。然而,研究也表明,虽然RLVR改进了评分并生成了有用的推理链,但模型在推理过程中不一定变得更依赖于显式推理。此外,研究表明RL可能导致模型通过关注与质量分数相关的文本线索来利用捷径,从而可能夸大基准性能。

  17. TOOL · CL_324699 ·

    新研究探讨强化学习跨域泛化

    一篇新的arXiv论文探讨了语言模型在强化学习(RL)中不同域之间的学习迁移。该研究题为“在何处以及奖励什么?理解强化学习中可验证与开放域之间的泛化”,研究了在可验证奖励(RLVR)上训练的模型以及在开放式对话中基于人类反馈(RLHF)训练的模型,在训练数据变化时的表现。研究人员发现,在开放式提示上进行RLHF可以显著提升对话能力,同时也能改善推理和编码任务,而RLVR主要增强推理能力,但在开放式对话中的提升有限。

  18. TOOL · CL_321799 ·

    新的SOPO框架改进了LLM幻觉检测,优于GPT-5

    研究人员开发了一个名为苏格拉底引导策略优化(SOPO)的新框架,以改进大型语言模型中幻觉的检测。SOPO利用一种苏格拉底反馈机制,其中教师模型提供间接提示来指导推理过程,解决了奖励稀疏和长度膨胀等问题。SOPO模型,特别是4B版本,在RAGTruth基准测试上展示了最先进的性能,优于GPT-5等专有模型和其他RL基线。

  19. TOOL · CL_321716 ·

    新框架增强多模态强化学习中的推理能力

    研究人员推出了一种名为Outcome-Conditioned Visual Credit (OVC)的新框架,旨在提高多模态强化学习中的推理能力。OVC通过将视觉关联测量与token级信用分配分离开来,解决了统一分配信用给所有token的局限性。该框架利用相对视觉编码和结果条件证据校准,根据观察到的结果差异来指导信用分配。当作为GSPO-token实现时,OVC在六个基准测试中表现出持续的改进,比现有方法高出1.86-2.39个百分点。

  20. RESEARCH · CL_312400 ·

    新的RLVR方法通过提高样本多样性来增强大型语言模型的推理能力

    研究人员开发了新的方法,通过具有可验证奖励的强化学习(RLVR)来提高大型语言模型(LLMs)的推理能力。一种名为Flat-RLVR的方法通过促进平坦奖励最优值来解决“分布锐化”问题,从而平滑策略分布并增强样本多样性,同时保持准确性。另一种方法“激活空间探索”(ASE)通过对正确和错误响应之间的激活差异进行聚类来使训练 rollout 多样化,从而提高了在数学推理基准上的性能。