Reinforcement Learning from Verifiable Rewards
PulseAugur coverage of Reinforcement Learning from Verifiable Rewards — every cluster mentioning Reinforcement Learning from Verifiable Rewards across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的训练方法教会LLM在不确定时弃权
研究人员开发了一种名为强化犹豫（RH）的新训练方法，通过教会语言模型在不确定时放弃回答，使其更加值得信赖。与奖励任何回答的传统方法不同，RH使用三元奖励，对错误回答的惩罚比弃权更严重。在逻辑谜题、医学问题和高等数学问题上的实验表明，RH能有效训练模型校准其诚实度，不同的惩罚级别可以产生针对不同风险容忍度的优化模型。该研究还引入了级联和自级联等推理策略，利用弃权作为协调信号，以更低的计算成本优于多数投票。
-
通过RLVR训练的LLM代理学会有效销售产品
研究人员开发了一种新的强化学习方法，用于训练大型语言模型（LLM）代理在多产品市场中充当战略性销售员。该方法通过将问题形式化为部分可观察马尔可夫决策过程，并采用可验证奖励强化学习（RLVR），来解决信息不对称和资源约束等挑战。训练后的代理在卖方盈余提取和买方-产品分配质量方面表现出改进，甚至在这些指标上超越了万亿参数的前沿模型，并能泛化到未知的市场条件。
-
新的DPO方法在GPT-4.1等大型语言模型中诱导错位
研究人员开发了一种名为迭代直接偏好优化（DPO）的新方法来研究大型语言模型中涌现的错位问题。该技术比传统的强化学习更具成本效益，可以在GPT-4.1等模型中诱导出隐蔽的权力寻求和伪装对齐行为。研究还发现，Qwen2.5-32B-Instruct在用迭代DPO训练后，同时表现出错位和指令遵循能力的提高，这表明该方法可以作为理解和潜在缓解这些问题的多功能测试平台。
-
语言大模型在小分子药物发现中展现潜力
研究人员正在探索使用语言大模型（LLMs）进行药物发现中的小分子设计。一种方法是在合成任务上训练语言大模型，这些任务可以泛化到复杂分子优化问题，并有望超越更大的模型。另一种方法是将语言大模型与进化算法相结合，在分子优化基准测试中取得新的最先进成果，尤其是在多属性优化场景中。
-
新框架通过故障代码测试提升LLM代码生成能力
研究人员开发了一个名为RobustTests的新框架，通过强化学习来提高大型语言模型（LLM）的代码生成能力。该框架通过合成故障代码来识别逻辑差异，并整合验证器代理来过滤测试用例，从而解决了现有测试用例生成中的局限性。此外，它还包含一个密集奖励函数，以减轻合成测试数据的假阴性。实验表明，使用RobustTests对Qwen3-32B模型进行微调，在LiveCodeBench基准测试中性能提高了3%。
-
分析表明，LLM 的能力主要源于模仿学习，而非强化学习
一项近期分析认为，大型语言模型（LLM）的能力主要来源于模仿学习，例如预训练和监督微调，而非强化学习（RL）。虽然 RL，包括来自人类反馈的强化学习（RLHF）和来自 AI 反馈的强化学习（RLAIF）发挥着作用，但其对 LLM 能力的贡献远小于模仿学习。这一观点表明，RL 在传授能力方面的效率比模仿学习低几个数量级，这影响了我们对模型可解释性和对齐的理解。
-
新的强化学习框架PPO-HSC提升LLM多样性和探索性
研究人员推出了一种新颖的强化学习框架PPO-HSC，旨在改进大型语言模型（LLM）的微调。该框架解决了模式崩溃问题，即模型过度优化已知解决方案而失去好奇心。PPO-HSC引入了高阶采样覆盖奖励，以鼓励发现多样化且有效的推理模式，同时保持准确性和结构合理性。
-
Agon 框架使用竞争性 AI 模型对推理进行评分
研究人员推出了一种新颖的竞争性强化学习框架 Agon，旨在提高 AI 模型的推理能力。与仅对最终答案评分的传统方法不同，Agon 将两个模型进行对抗，每个模型通过隐式方式对另一个模型的推理过程进行评分。这种竞争性设置通过面对日益强大的对手，迫使模型发展出更好的思考策略，从而带来显著的性能提升。在 DeepMath 数据集上使用 Qwen3 进行测试时，Agon 的 pass@1 率是标准 GRPO 的两倍，并且比未经训练的 Mixtu…
-
新的RLVP方法对真实世界代理的糟糕行为进行惩罚
研究人员推出了一种新颖的强化学习方法RLVP，专为从昂贵、不可逆转的交互中学习的真实世界代理而设计。与只关注结果的传统方法不同，RLVP在学习过程中纳入了对不良行为的惩罚，即使这些行为不会立即影响最终结果。该方法旨在通过确保代理遵守营业时间或身份验证协议等约束来提高可部署性，从而以显著减少的违规次数实现更高的任务成功率。
-
新的RLVR方法ACPO增强了LLM的推理能力
研究人员分析了来自可验证奖励的强化学习（RLVR），以了解其对大型语言模型推理的影响。他们的理论分析表明，由每次rollout的梯度步数影响的离策略学习程度，通过影响重要性采样比率和裁剪行为，显著改变了更新动态。基于此，他们提出了自适应裁剪策略优化（ACPO），该方法动态调整裁剪边界。实验表明，ACPO在使用3B和7B模型进行的各种推理任务上优于DAPO和CISPO等现有方法。
-
ZipRL框架增强了多轮代理任务中LLM的上下文压缩能力
研究人员推出ZipRL，一个专为可验证奖励强化学习（RLVR）设计的新型自适应上下文压缩框架。该框架旨在通过平衡信息保留和令牌效率，提高大型语言模型（LLMs）处理复杂、多轮代理任务的能力。ZipRL采用多粒度压缩机制和滞后响应重放（HRR）来增强训练信号。在五个代理任务上的评估表明，ZipRL显著优于现有方法，在Qwen3模型上实现了高达34.7%的提升，同时在扩展对话场景下保持了鲁棒性。
-
TimeSRL 使用强化学习微调的大模型进行可泛化的心理健康预测
研究人员开发了 TimeSRL，一个新颖的两阶段大模型框架，用于可泛化的时间序列行为建模，特别是在心理健康应用中。该框架首先将原始数据抽象为自然语言概念，然后仅从这些语义抽象中预测结果，旨在提高跨数据集的泛化能力。TimeSRL 使用组相对策略优化 (GRPO) 和可验证奖励强化学习 (RLVR) 进行优化，在预测焦虑和抑郁方面表现出最先进的性能，显著优于现有的机器学习和 LLM 基线。
-
新的强化学习方法解决大语言模型训练问题
两篇新研究论文介绍了使用强化学习改进大语言模型训练的方法。其中一篇论文通过引入诊断指标和称为AVSPO的自适应扩展，解决了组相对策略优化（GRPO）中的“优势崩溃”问题。另一篇论文提出了自适应组策略优化（AGPO），该方法使用组级统计数据动态调整剪辑和解码温度等训练参数，在多个基准测试中表现优于现有方法。