AIME24
PulseAugur coverage of AIME24 — every cluster mentioning AIME24 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法旨在改进多奖励强化学习中的代币级信用分配
两篇新研究论文提出了一种在涉及多个奖励时，更有效地将信用分配给语言模型输出中特定代币的方法。第一篇论文MRTPO利用验证器信息，在不使用辅助模型的情况下，将奖励优势直接分配给相关代币。第二篇论文P2T采用一种无训练的、基于梯度的方法，通过估计其影响来将整体奖励归因于单个代币，仅需一次前向和后向传播。
-
新的近端KL方法提高了Qwen3模型上策略离轨RLVR的准确性
研究人员开发了近端KL（Proximal KL），一种用于策略离轨可验证奖励强化学习（RLVR）的新颖方法。该技术通过使用Token级重要性加权和有界未来KL信用，解决了异步生成和响应重用等挑战，避免了对全响应权重或拟合评论家的需求。在八个数学基准测试中，与Qwen3-1.7B和Qwen3-4B模型上的GRPO相比，近端KL在微平均准确性方面表现出更高的准确性，优于GRPO高达2.58%。
-
新的SURGE技术无需额外训练即可增强RL模型
研究人员开发了一种名为SURGE（Scaling Up RL Gradient-free via Eigenspace fusion）的新技术，可以在不增加额外训练时间或推理计算的情况下，提高现有强化学习（RL）模型的性能。SURGE结合了同一RL训练历史中的两个检查点，生成了一个优于两个原始检查点的新策略。该方法在数学推理和编码基准测试中均显示出改进，证明了存储的RL历史是扩展模型能力的宝贵资源。
-
FlowBalance 通过验证器校准的自我指导来增强 AI 推理能力
研究人员推出了一种新颖的推理模型自我改进方法 FlowBalance，该方法利用验证器校准的指导。该技术通过结合来自验证器的稀疏、可靠的监督和来自同一模型的更密集的指导，解决了当前自我改进循环的脆弱性。FlowBalance 根据验证器衍生的群体优势重新校准自我指导分数，保留积极指导并逆转消极指导，以防止过度自信并促进多样化解决方案。该方法在 Qwen3-4B 和 Qwen3-8B 等模型上，尤其是在数学推理任务中，展示了性能、训练速…
-
新的 OPSA 方法质疑 on-policy distillation 的有效性
研究人员质疑了 on-policy distillation (OPD) 在大型语言模型中的有效性，发现其监督可能存在噪声，并且学生模型对这种噪声基本不敏感。OPD 的收益似乎源于抑制低概率 token，而非直接的教师指导。这促使了 On-Policy Self-Adaptation (OPSA) 的开发，这是一种新的无监督方法，利用熵自适应负优势来提高模型性能。OPSA 显著提升了推理能力，在 AIME24 等基准测试中表现优于 OPD。
-
VISTA方法通过师生适应性学习增强AI推理能力 · 跟踪2个来源
研究人员开发了VISTA，一种用于策略内自蒸馏（OPSD）的新方法，可增强AI模型的推理能力。与标准的OPSD不同，VISTA根据已验证的学生试运行来调整教师模型，特别关注教师模型和学生模型之间差异最大的区域。当应用于不同大小（1.7B、4B和8B参数）的Qwen3模型时，该方法在多个基准数据集（AIME24、AIME25、HMMT25）上表现出性能提升，优于现有的OPSD技术。
-
新的RIPO算法增强了LLM强化学习
研究人员推出了一种新颖的强化学习算法——黎曼等距策略优化（RIPO），旨在解决大型语言模型（LLM）中的探索崩溃问题。该算法纠正了现有方法（如PPO-Clip）的一个根本性缺陷，这些方法在策略的黎曼流形上错误地使用了欧几里得度量，导致更新不平衡。RIPO确保了等距策略更新，从而稳定了优化并改善了偏差-方差权衡。实验表明，RIPO在LLM强化学习算法方面显著优于其他算法，在AIME24基准测试上取得了高达60%的提升。
-
新的RIPO方法克服了LLM强化学习中的探索崩溃
一篇新研究论文介绍了一种名为黎曼等距策略优化（RIPO）的新方法，用于解决大型语言模型（LLM）强化学习中的探索崩溃问题。该论文指出了现有PPO-Clip算法的一个根本性缺陷，即错误地使用了欧几里得度量而非策略黎曼流形的内在几何结构。这种不匹配会导致次优更新和探索失败。RIPO通过确保等距策略更新、平衡探索与利用来纠正这一点，并在七个基准测试中展示了比现有方法显著的改进，包括在AIME24上获得了60%的提升。
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示，自蒸馏（一种语言模型利用自身推理来改进的技术）实际上会损害先进“思考模型”的性能。在测试中，当处理数学问题等复杂推理任务时，使用特权上下文蒸馏的这些模型准确率显著下降，最高可达17%。这种效应在推理链更长时更为明显，并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新AI框架通过自适应计算分配改进推理能力
研究人员开发了一种新颖的、由验证器指导的自适应AI推理框架，该框架将问题解决视为生成和选择推理轨迹的迭代过程。该方法动态分配推理计算、选择推理工具，并采用具有探索参数的计算策略。过程奖励模型（PRM）充当统一的控制信号，在迭代过程中指导生成和修剪，并在迭代之间选择最终响应。该方法显著优于统一的测试时间计算扩展，在MATH-500等基准测试上取得了显著的进步，在AIME24和AMO-Bench上取得了多倍的改进，同时通过将计算集中在高实…
-
新框架通过模式感知推理提升LLM工具使用能力
一篇新的研究论文介绍了一个模式感知框架，以增强大型语言模型中的工具集成推理（TIR）。该框架通过关注工具的应用方式，而不仅仅是何时使用它们，来解决先前工作中的局限性。它区分了代码使用的计算器模式和算法模式，并提出了一种两阶段方法来构建代码能力并将模式选择与期望的结果对齐。正如在MATH500和AIME24上的Code@1等指标的显著提升所示，该方法在具有挑战性的数学数据集上显著提高了准确性。
-
新方法惩罚冗余，使大语言模型推理更高效
研究人员开发了一种新颖的方法，通过惩罚其思维链（CoT）追踪中的内部和外部冗余来减少大型推理模型（LRM）的“过度思考”。这种双重惩罚强化学习框架分别解决了第一个正确答案之前的信��停滞和之后的冗余延续问题。在GSM8K和MATH500等基准测试上的实验表明，推理长度显著缩短，在1.5B模型上最多可减少41.3%，同时保持了具有竞争力的准确性并提高了整体效率。该方法还显示出对GPQA和LiveCodeBench等域外任务的可迁移性，为…
-
新的SR-PPO方法通过单次采样改进语言模型的强化学习
研究人员开发了一种名为单次采样近端策略优化（SR-PPO）的新方法，以解决语言模型强化学习中估计token级优势的挑战。该方法使用在每次提示的单次采样上训练的蒙特卡洛Pass@k评论员来改进信用分配并降低计算成本。该方法在HMMT26和AIME24等数学推理基准上显示出稳定的学习和持续的成功率提升。
-
新框架统一图像生成能力；研究解决蒸馏挑战
研究人员推出了一种新颖的 on-policy 生成场蒸馏框架 DanceOPD，旨在将文本到图像、局部编辑和全局编辑等多种图像生成能力统一到单个模型中。该框架解决了将这些能力结合起来可能导致性能下降的常见问题。DanceOPD 将样本路由到特定的能力场，并使用速度 MSE 目标进行训练，从而在保持整体生成质量的同时组合专家能力。此外，其他研究还探索了 on-policy 蒸馏技术，包括缓解输出多样性减少和解决长推理任务中的位置偏差的方…
-
新的强化学习方法增强大型语言模型训练的稳定性和效率 · 跟踪 7 个来源
研究人员开发了几种新方法来提高大型语言模型 (LLM) 中强化学习 (RL) 的稳定性和效率。STARE 通过根据惊奇度重新加权 token 级优势来解决策略熵崩溃问题，在推理基准测试中显示出更高的准确性。GrowthHacker 利用 LLM 代理自主优化离策略评估 (OPE) 代码，证明了改进 OPE 系统的可行性。ZPPO 将教师模型保留在提示中而不是策略梯度中，从而增强了小型学生模型的知识蒸馏。GD$^2$PO 通过过滤掉具有…
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术，可在不依赖外部反馈的情况下提高其性能。AVSD（自适应视图自蒸馏）在多个特权信息视图之间平衡共识信号，并使用视图特定的残差来增强学习。自策略蒸馏（SPD）从梯度中提取能力子空间，以提高性能和泛化能力，尤其是在代码生成和数学推理方面。CEPO（对比证据策略优化）通过对比正确答案和错误答案来锐化关键标记的信用分配，从而提高了多模态数学推理基准的准确性。
-
Kwai AI的SRPO以10倍的训练步数实现了DeepSeek-R1-Zero的性能
来自快手Kwaipilot团队的研究人员开发了一个名为SRPO的新型强化学习框架，旨在提高大型语言模型的效率和性能。该新方法通过采用两阶段训练过程，解决了标准GRPO在样本效率和跨域优化冲突等方面的局限性。SRPO在数学和代码基准测试中展示了最先进的性能，达到了DeepSeek-R1-Zero的水平，同时仅需十分之一的训练步数。