PulseAugur
中
实时 09:02:20
实体 RLVR

RLVR

PulseAugur coverage of RLVR — every cluster mentioning RLVR across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
47
90 天内 138
发布 · 30天
0
90 天内 0
论文 · 30天
41
90 天内 128
层级分布 · 90 天
主题
关系
时间线
  1. 2026-06-03 research_milestone A new paper introduces a method to address forgetting in RLVR for LLMs. 来源
情绪 · 30 天

12 天有情绪数据

最近 · 第 1/8 页 · 共 146 条
  1. COMMENTARY · CL_369052 ·

    AI模型如何从文本预测器演变为有用的助手

    语言模型通过多阶段的训练后过程,从基本的文本预测转变为有用的助手。最初,监督微调通过在示例对话上进行训练来教会模型遵循指令。后续步骤涉及人类反馈强化学习(RLHF)或直接偏好优化(DPO),模型通过比较和选择更好的响应来学习与人类偏好保持一致。对于具有客观成功标准(如数学或编码)的任务,采用人工智能反馈强化学习(RLVR),根据正确输出来奖励模型。最后,原则和宪法被用来塑造模型的品格,指导其拒绝和道德行为,尽管这个过程如果管理不当可能…

  2. TOOL · CL_352030 ·

    RLVR 研究表明奖励破解可能被放大或抑制

    一篇新研究论文探讨了具有可验证奖励的强化学习 (RLVR) 如何与不完美的验证器交互,揭示奖励破解既可以被抑制也可以被放大。研究发现 RLVR 充当过滤器,在不改变其组成的情况下重新加权接受的响应,从而继承基础模型的奖励破解率。然而,通过参数共享,接受错误答案的提示会将其推得更高,而拒绝它们的提示会将其推得更低,从而导致放大。研究表明,对齐工作应侧重于模型在提示中重复出现的特定错误,因为这可以显著提高真实准确性。

  3. RESEARCH · CL_352054 ·

    语言模型训练中的密集奖励可能不值得计算成本

    一项关于语言模型推理的新研究表明,在匹配计算协议下进行评估时,诸如蒙特卡洛奖励之类的密集过程奖励可能不如最初设想的那样有效。研究发现,在考虑生成代币和训练时间的计算成本时,这些密集奖励的表现不如标准的GRPO。相反,在成功率接近1/2的提示上训练语言模型,可以带来微小但持续的准确性提升。

  4. TOOL · CL_344440 ·

    新的FADE过滤器通过分离提示难度和策略能力来改进RLHF调度

    研究人员开发了FADE(Factored Ability--Difficulty Estimation),一种新颖的双线性状态空间滤波器,旨在改进在线人类反馈强化学习(RLHF)调度。FADE有效地分离了策略不断变化的胜任能力和提示的内在难度这两个学习时间尺度。该方法使用一个$K$维技能加载和一个快速漂移的策略能力向量,通过秩-$K$ Woodbury步骤进行更新,从而能够将胜任能力的变化高效地转移到未观察到的提示上。在五个推理基准和…

  5. TOOL · CL_341970 ·

    Alexa+ 使用 RLVR 自动生成动画图标

    研究人员开发了一个自动流水线,用于为 Alexa+ 设备生成动画图标,取代了耗时的人工设计过程。该系统使用可验证奖励强化学习 (RLVR) 来微调图像生成模型,显著提高了合适图标生成的比率。这种自动化方法旨在扩展图标创建以适应各种对话主题,并已部署到生产流水线中。

  6. TOOL · CL_349638 ·

    亚马逊通过 RLVR 自动化 Alexa+ 图标生成

    亚马逊开发了一个自动化系统,用于为 Alexa+ 设备生成动画图标,取代了手动设计流程。该系统使用一个包含图像生成、语义分解、矢量化、样式化和动画的管道。为了提高对整个管道至关重要的初始图像生成质量,他们采用了可验证奖励强化学习 (RLVR)。这种方法使用客观验证器来标记设计指南违规,将生成的图标的通过率从 15.7% 提高到 58.7%。微调模型和验证器现已集成到生产管道中。

  7. TOOL · CL_349969 ·

    新的FADE方法通过因子化能力和难度来改进RLVR调度

    研究人员开发了FADE(Factored Ability--Difficulty Estimation),一种用于在线可验证奖励强化学习(RLVR)的新型过滤方法。FADE解决了RLVR中自适应调度器的挑战,这些调度器通常难以区分策略不断变化的熟练程度和提示本身的内在难度。通过使用双线性状态空间滤波器,FADE将这两个时间尺度分开,将提示成功率表示为技能载荷和策略能力向量的乘积。这种方法在多个基准测试中提高了下游准确性和校准性,同时增…

  8. TOOL · CL_347835 ·

    RLVR 通过改进解决方案选择来增强模型推理能力,而非知识获取能力

    一项新研究调查了可验证奖励强化学习(RLVR)机制,这是一种显著提高模型推理能力的技术。与普遍认为 RLVR 教会模型新的解决问题技能的看法相反,该研究表明它主要增强了模型访问现有知识的能力。通过分析 OLMo-2-1B 模型在 GSM8K 基准测试上的训练检查点,研究人员发现,尽管首次尝试的准确性有所提高,但模型的根本推理能力并未发生根本性变化。研究得出结论,RLVR 有助于模型更可靠地选择最佳解决方案,而不是获取新解决方案。

  9. TOOL · CL_336288 ·

    转向向量显示出作为LLM训练信号的潜力

    研究人员探索了将转向向量(SV)用作训练后大型语言模型(LLM)的训练信号。他们的框架研究了在监督学习(包括监督微调(SFT)和知识蒸馏)期间注入SV,以及在GRPO中用于强化学习的优势修复机制。在监督设置中,SV注入在特定任务上比标准的SFT和蒸馏表现出更高的性能,特别是从具有“思考模式”的教师模型进行蒸馏时,性能提升高达12%。对于强化学习,将正确性对比方向作为不正确回滚的优势修复,有助于恢复一个转移到数学基准的学习信号,并充当一…

  10. TOOL · CL_336214 ·

    新的CRoS指标通过打乱思维链步骤来增强LLM推理

    研究人员引入了CRoS,一种用于评估语言模型思维链(CoT)推理因果关系的新指标。与之前扰动推理步骤的方法不同,CRoS在不改变内容的情况下打乱了这些步骤的顺序,旨在更好地分离真正的因果关系。这种方法旨在防止结果奖励可能带来的信息量减少或自我纠正等问题。在使用Gemma 3-4B模型在Reasoning Gym上进行的评估中,CRoS在准确性、CoT质量和忠实度方面均优于现有的因果关系和结果奖励。

  11. TOOL · CL_332837 ·

    Nemotron 3.5 模型发布:用于 Agentic AI 的开源专家混合模型

    研究人员推出了 Nemotron 3.5 Super 和 Lightning,这是新的开源专家混合(Mixture-of-Experts)Mamba-Transformer 模型。Nemotron 3.5 Super 是一个 120B 参数的多模态模型,专为推理和 Agentic 任务设计,而 Lightning 是一个较小的 30B 参数文本模型,专注于效率。这两个模型都采用了先进的训练技术,包括大规模蒸馏、长上下文训练和推测解码,…

  12. RESEARCH · CL_332913 ·

    RLVR 不提供免费午餐:研究发现 pass@1 的提升会带来 pass@k 的成本 · 跟踪 3 个来源

    一篇新的理论论文认为,具有可验证奖励的强化学习(RLVR)并不能从根本上提高语言模型的推理能力。相反,它表明在第一次尝试解决问题(pass@1)时获得的任何提升,都将以在需要多次尝试才能解决的问题(pass@k)上的性能下降为代价。该研究建立了一个数学定理,表明在策略专业化下,这种权衡是 RLVR 的固有属性,这意味着一个指标的改进必然会损害另一个指标。这一发现表明,RLVR 主要是在固定的前沿优化性能,而不是扩展它,任何感知到的收益…

  13. TOOL · CL_327074 ·

    新的大模型训练后优化框架提供灵活的偏差-方差权衡

    研究人员推出了一种名为“Dr. Post-Training”的新颖框架,该框架将通用训练数据重塑为正则化器,以防止大模型过拟合。与传统的数据选择方法相比,这种方法允许更灵活的偏差-方差权衡。在监督微调(SFT)、人类反馈强化学习(RLHF)和RLVR上的实验表明,“Dr. Post-Training”的性能优于现有方法,尤其是在通用数据和目标数据不一致的情况下。

  14. RESEARCH · CL_326870 ·

    新的Guided-RLVR方法扩展了LLM的推理探索

    研究人员推出了一种新的方法Guided-RLVR,用于增强具有可验证奖励(RLVR)的大型语言模型(LLM)的强化学习。该方法通过引入一个轻量级控制器来注入引导令牌,解决了RLVR方法塌缩到狭窄推理路径的问题。这些令牌鼓励LLM探索不同的推理视角,从而提高了在数学和代码生成任务上的性能。

  15. TOOL · CL_324941 ·

    研究论文详细介绍了 LLM 强化学习中的裁剪如何影响熵

    一篇新的研究论文探讨了裁剪机制对大型语言模型(LLM)强化学习的影响。研究表明,“clip-low”会增加熵,促进探索,而“clip-high”会降低熵,可能导致熵崩溃。论文证明,“clip-high”效应通常占主导地位,即使在随机奖励的情况下也会降低熵,并提出通过有意识地调整裁剪参数可以控制熵并防止训练过程中的崩溃。

  16. TOOL · CL_324821 ·

    新的SEPO框架通过引导式探索提升LLM推理能力

    研究人员推出了一种名为自进化策略优化(SEPO)的新型框架,旨在增强大型语言模型(LLM)的推理能力。SEPO通过采用引导式探索和分布内利用策略,解决了现有方法(如具有可验证奖励的强化学习RLVR)的局限性。这种迭代过程使模型能够持续发现和优化解决方案,在各种推理领域展现出更高的效率和性能,甚至在复杂任务或使用较小模型时也能超越基线。

  17. TOOL · CL_324812 ·

    强化学习提升VLM图像质量评估能力,但推理依赖性尚不明确

    一篇新的arXiv论文研究了具有可验证奖励的强化学习(RLVR)对大型视觉语言模型(VLMs)在图像质量评估(IQA)方面的影响。研究发现,经过RL训练的模型优于基础模型,其改进归因于增强的推理能力,这可以通过更合理的思维链(CoT)输出来证明。然而,研究也表明,虽然RLVR改进了评分并生成了有用的推理链,但模型在推理过程中不一定变得更依赖于显式推理。此外,研究表明RL可能导致模型通过关注与质量分数相关的文本线索来利用捷径,从而可能夸大基准性能。

  18. RESEARCH · CL_326989 ·

    新的ZwZ2框架通过连接视觉证据增强多模态感知

    研究人员推出了“Zooming without Zooming v2”(ZwZ2)这一新框架,旨在通过关注连接视觉证据的能力来增强多模态感知。EvidenceConnect数据合成框架生成的问题需要比较、聚合或链接图像内不同区域的视觉信息。这种方法通过视觉语言模型(VLMs)的一致性和区域消融测试得到验证,能够提高细粒度和空间感知能力,并在具身空间推理和多模态长上下文理解方面取得进展。

  19. RESEARCH · CL_319652 ·

    新的RLVR研究揭示了采样器不匹配下的熵漂移

    一篇新论文提出了一种“符号律”,用于理解可验证奖励强化学习(RLVR)中的熵漂移,特别是在用于滚动的采样器与学习者应用的采样器不同的情况下。研究表明,这种采样器不匹配会导致策略熵的可预测变化,对模型的稳定性和准确性产生影响。在2B模型和9B推理模型上的实验表明,纠正这种漂移可以显著提高模型在未见过数据上的准确性,尤其是在无法进行精确采样的情况下。

  20. TOOL · CL_317444 ·

    OLMo-3 研究质疑 RLVR 中的工具性收敛性

    一篇新的研究论文调查了语言模型中的工具性收敛性,特别是考察了可验证奖励强化学习(RLVR)如何影响权力寻求行为的出现。该研究使用 OLMo-3 模型和 InstrumentalEval 基准,发现工具性行为的发生率在 RLVR 训练过程中并非单调递增。相反,它在中间阶段有所上升,然后在最终模型中降至低于初始 SFT 基线,这表明 RLVR 本身并不必然导致更多的权力寻求倾向。