Qwen2.5-Math-7B
PulseAugur coverage of Qwen2.5-Math-7B — every cluster mentioning Qwen2.5-Math-7B across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
随机奖励可提高 LLM 数学准确性，但收益因模型而异
Shao 等人最近的一篇论文表明，使用随机分配奖励来训练语言模型可以带来显著的性能提升，尤其是在数学相关任务上。当应用于 Qwen2.5-Math-7B 并使用 GRPO 算法时，随机奖励实现了与真实奖励相似的准确性提升，约为后者的 75%。这种现象归因于 GRPO 的裁剪项，它会放大模型已有的行为，例如代码推理，即使奖励信号无效。然而，这种“虚假奖励”技术的有效性取决于模型，在 Llama 3 和 OLMo2 等模型系列上收益有限。
-
新方法旨在改进多奖励强化学习中的代币级信用分配
两篇新研究论文提出了一种在涉及多个奖励时，更有效地将信用分配给语言模型输出中特定代币的方法。第一篇论文MRTPO利用验证器信息，在不使用辅助模型的情况下，将奖励优势直接分配给相关代币。第二篇论文P2T采用一种无训练的、基于梯度的方法，通过估计其影响来将整体奖励归因于单个代币，仅需一次前向和后向传播。
-
REWIND方法通过针对易出错的生成来改进LLM推理
研究人员开发了REWIND，一种新颖的无需训练的方法，旨在提高大型语言模型的推理能力。通过分析token熵，REWIND识别并针对生成响应的特定部分进行重新生成，从而纠正可能导致整个推理过程出错的早期错误。该方法在多个模型和基准测试中表现出显著的性能提升，优于现有方法。
-
新的 EDEN 方法通过锚定噪声提升 LLM 强化学习
研究人员推出了一种新颖的方法 EDEN（Embedding-space Directional Exploration via anchored Noise），用于增强大型语言模型（LLM）的可验证奖励强化学习（RLVR）。EDEN 通过在生成滚出（rollout）过程中将精心设计的噪声注入输入提示的嵌入空间，解决了 RLVR 中轨迹多样性有限的问题。该技术在不改变核心策略或推理过程的情况下，增加了采样轨迹的多样性，并加强了组相对优势…
-
新的SCALE方法通过控制特征使用来增强SFT
研究人员推出了一种名为SCALE（Selective Control of Adaptation via Local Entropy，通过局部熵选择性控制适应）的新型监督微调（SFT）方法，旨在通过控制学习到的特征的使用方式来改进模型适应性。与专注于抑制或放大更新的现有方法不同，SCALE冻结了预训练模型和SFT增量，学习门控机制，根据熵减少来抑制、反转或外推特征。这种方法在多个Qwen模型（包括Qwen2.5-Math-1.5B、Q…
-
新的电路推理分数改进了强化学习数据选择
研究人员开发了一种名为电路推理分数（CRS）的新方法，以改进可验证奖励强化学习（RLVR）的数据选择。与将数据价值视为问题内在属性的先前方法不同，CRS根据模型对其推理电路的参与度来评估数据价值。这种方法在Qwen2.5-Math-7B上进行了测试，结果表明，推理电路参与度较低的数据在GSM8K和OlympiadBench等基准测试中表现更好。
-
ThinkPrior 方法优化 RLVR 提示选择，减少无效 rollout
研究人员开发了 ThinkPrior，一种用于在可验证奖励强化学习 (RLVR) 中优化提示选择的新方法。该方法旨在通过在首次训练 rollout 之前创建难度先验来减少计算资源的浪费，这与需要初始 rollout 来估计难度的传统方法不同。ThinkPrior 利用外部锚点传递来建立此先验，然后根据训练结果进行更新。在 Qwen2.5-Math-7B 模型上的实验表明，ThinkPrior 在不影响最终准确性的情况下，显著减少了早期…
-
ScalePRM 在无需真实标签的情况下训练 AI 奖励模型，性能优于 GPT-4o
研究人员开发了 ScalePRM，一种新颖的训练过程奖励模型（PRMs）的方法，该方法绕过了昂贵的步骤级正确性标签或真实标签的需要。该方法通过生成和聚合每个推理步骤的多个独立验证来创建合成标签，从而扩展了验证计算。ScalePRM 在 ProcessBench 基准测试上取得了 67.5 的 F1 分数，性能优于传统的基于真实标签的训练，甚至优于作为批评者的 GPT-4o。当用作 Qwen2.5-Math-7B 的 RL 训练的奖励信…
-
新的RLVR方法增强LLM的鲁棒性和泛化能力 · 跟踪2个来源
研究人员开发了新的方法来提高多模态大语言模型（LLM）的强化学习可验证奖励（RLVR）的鲁棒性和泛化能力。第一种方法是提示不变RLVR（PIRL），它将奖励信号中的格式与内容分离，并在语义等价提示上应用策略不变性，与GRPO相比，在压力测试下准确率下降显著降低。第二种方法是扰动参数策略优化（3PO），它通过从后验采样不同的策略来探索参数空间，在OLMo-3-1025-7B和Qwen2.5-Math-7B等模型上，对于数学推理和代码生成…
-
新的 GRPO 方法改进了 AI 模型在数学任务中的信用再分配
研究人员开发了一种名为稀有度感知信用再分配用于 GRPO (GRPO) 的新方法，以解决具有可验证奖励的强化学习中的信用集中问题。该方法根据重复的正确解形式的稀有度来重新分配学习信号，防止常见解累积过多的正系数。该实现 Cue-GRPO 使用确定性策略提示来创建已验证正确的轨迹分区，在 Qwen2.5-Math-7B 和 Llama 3.1 8B-Instruct 等模型的竞赛数学任务上提高了性能，而训练开销却很小。
-
新课程方法提升AI模型数学解题能力
研究人员开发了一种名为“问题引出问题”（Question-begets-Question, QbQ）的新型自演化课程方法，以提高语言模型在竞赛数学等复杂任务上的性能。该方法通过生成多样化的问题变体，解决了数据稀缺和模型训练中常见的平台期效应。通过将强化学习集中在模型大部分能解决的问题上，QbQ 已被证明能够突破性能瓶颈，显著提高模型的解题能力，且没有饱和迹象。
-
新的ReCo方法改进了用于语言模型推理的GRPO
研究人员开发了ReCo，一种新颖的重加权方法，旨在改进语言模型中的Group Relative Policy Optimization (GRPO)。GRPO是一种标准的强化学习技术，但有时会因过度关注高概率响应而降低模型的推理能力。ReCo通过根据响应的预期发生次数进行归一化来处理响应贡献，并用基于方差的比例替换了token级别的importance ratio。这种方法旨在提高推理路径的覆盖率，尤其是在Pass@k等基准测试中k值较大时。
-
新的采样方法在不更新参数的情况下提升了大型语言模型的推理能力
研究人员开发了一种名为熵引导功率采样（EGPS）的新采样方法，以提高基础语言模型的推理能力。该方法通过关注序列内的高熵区域来解决传统Metropolis-Hastings采样器的低效问题，从而实现更快、更有效的采样。EGPS在MATH500、HumanEval和GPQA等基准测试中表现强劲，与现有技术相比实现了显著的加速。
-
新的强化学习方法提升大语言模型的推理和效率
两篇新的研究论文介绍了用于增强语言模型推理的新型强化学习技术。第一篇 GAGPO 提出了一种无批评者的方法，用于在多轮环境中进行精确的时间信用分配，从而改进了与步骤对齐的学习。第二篇 CoDistill-GRPO 提出了一种联合蒸馏方法，用于同时训练大型和小型语言模型，使得分组相对策略优化对于小型模型来说更高效、更易于使用。
-
新理论解释RLVR优化动力学和步长阈值
研究人员开发了一个用于可验证奖励强化学习（RLVR）的理论框架，这是一种用于通过二元反馈微调大型语言模型的技巧。该研究引入了一个“梯度间隙”指标来分析训练过程，并确定了一个关键的收敛步长阈值。该理论解释了响应长度和成功率等因素如何影响学习稳定性，并预测在固定学习率下可能无法达到100%的成功率。
-
新的RLVR方法通过正负提示配对增强LLM推理能力
研究人员开发了一种名为提示高效RLVR的新方法，可改进大型语言模型在推理任务上的训练。该技术侧重于选择同时提供积极锚点和来自罕见失败信号的提示，这与以往基于方差的方法不同。通过配对“难但可解”和“易但脆弱”的提示，并使用加权方法来放大成功和失败，该方法提高了样本效率，并在数学推理基准测试中取得了显著的性能提升。
-
新的平衡聚合方法改进了 LLM 的 GRPO 训练
研究人员已识别并提出了 GRPO 风格训练中聚合偏差的解决方案，这是一种用于增强大型语言模型推理和代码生成的方法。研究表明，标准的 GRPO 聚合方法，即序列聚合和标记聚合，会引入不同的优化偏差。为了对抗这种偏差，他们引入了平衡聚合（BA），这是一种即插即用的替代方案，可提高训练稳定性和性能。使用 Qwen2.5-Math-7B 和 Qwen3-1.7B 模型进行的实验证明了 BA 在各种推理和编码基准测试中的有效性。
-
新研究关注多语言模型、高效推理和数据污染
近期研究探讨了语言模型开发和应用的各个方面。Google DeepMind 的 ATLAS 项目引入了多语言模型的新缩放定律，旨在优化英语以外语言的训练。Hugging Face 发布了 LFM2.5-Encoders，专为在 CPU 上进行高效长上下文推理而设计，其速度优于现有模型。几篇 arXiv 论文深入研究了模型的行为和训练：TransClean 解决了 LLM 输出中的“翻译噪声”问题，另一项研究通过分析重复计数来调查语言模…