AIME24
PulseAugur coverage of AIME24 — every cluster mentioning AIME24 across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的RIPO算法增强了LLM强化学习
研究人员推出了一种新颖的强化学习算法——黎曼等距策略优化（RIPO），旨在解决大型语言模型（LLM）中的探索崩溃问题。该算法纠正了现有方法（如PPO-Clip）的一个根本性缺陷，这些方法在策略的黎曼流形上错误地使用了欧几里得度量，导致更新不平衡。RIPO确保了等距策略更新，从而稳定了优化并改善了偏差-方差权衡。实验表明，RIPO在LLM强化学习算法方面显著优于其他算法，在AIME24基准测试上取得了高达60%的提升。
-
研究发现自蒸馏会损害先进人工智能思考模型
一篇新的研究论文揭示，自蒸馏（一种语言模型利用自身推理来改进的技术）实际上会损害先进“思考模型”的性能。在测试中，当处理数学问题等复杂推理任务时，使用特权上下文蒸馏的这些模型准确率显著下降，最高可达17%。这种效应在推理链更长时更为明显，并且似乎源于特权教师上下文如何在模型推理过程的关键决策点改变学习。
-
新AI框架通过自适应计算分配改进推理能力
研究人员开发了一种新颖的、由验证器指导的自适应AI推理框架，该框架将问题解决视为生成和选择推理轨迹的迭代过程。该方法动态分配推理计算、选择推理工具，并采用具有探索参数的计算策略。过程奖励模型（PRM）充当统一的控制信号，在迭代过程中指导生成和修剪，并在迭代之间选择最终响应。该方法显著优于统一的测试时间计算扩展，在MATH-500等基准测试上取得了显著的进步，在AIME24和AMO-Bench上取得了多倍的改进，同时通过将计算集中在高实…
-
新框架通过模式感知推理提升LLM工具使用能力
一篇新的研究论文介绍了一个模式感知框架，以增强大型语言模型中的工具集成推理（TIR）。该框架通过关注工具的应用方式，而不仅仅是何时使用它们，来解决先前工作中的局限性。它区分了代码使用的计算器模式和算法模式，并提出了一种两阶段方法来构建代码能力并将模式选择与期望的结果对齐。正如在MATH500和AIME24上的Code@1等指标的显著提升所示，该方法在具有挑战性的数学数据集上显著提高了准确性。
-
新方法惩罚冗余，使大语言模型推理更高效
研究人员开发了一种新颖的方法，通过惩罚其思维链（CoT）追踪中的内部和外部冗余来减少大型推理模型（LRM）的“过度思考”。这种双重惩罚强化学习框架分别解决了第一个正确答案之前的信��停滞和之后的冗余延续问题。在GSM8K和MATH500等基准测试上的实验表明，推理长度显著缩短，在1.5B模型上最多可减少41.3%，同时保持了具有竞争力的准确性并提高了整体效率。该方法还显示出对GPQA和LiveCodeBench等域外任务的可迁移性，为…
-
新的SR-PPO方法通过单次采样改进语言模型的强化学习
研究人员开发了一种名为单次采样近端策略优化（SR-PPO）的新方法，以解决语言模型强化学习中估计token级优势的挑战。该方法使用在每次提示的单次采样上训练的蒙特卡洛Pass@k评论员来改进信用分配并降低计算成本。该方法在HMMT26和AIME24等数学推理基准上显示出稳定的学习和持续的成功率提升。
-
新框架统一图像生成能力；研究解决蒸馏挑战
研究人员推出了一种新颖的 on-policy 生成场蒸馏框架 DanceOPD，旨在将文本到图像、局部编辑和全局编辑等多种图像生成能力统一到单个模型中。该框架解决了将这些能力结合起来可能导致性能下降的常见问题。DanceOPD 将样本路由到特定的能力场，并使用速度 MSE 目标进行训练，从而在保持整体生成质量的同时组合专家能力。此外，其他研究还探索了 on-policy 蒸馏技术，包括缓解输出多样性减少和解决长推理任务中的位置偏差的方…
-
新的强化学习方法增强大型语言模型训练的稳定性和效率 · 跟踪 7 个来源
研究人员开发了几种新方法来提高大型语言模型 (LLM) 中强化学习 (RL) 的稳定性和效率。STARE 通过根据惊奇度重新加权 token 级优势来解决策略熵崩溃问题，在推理基准测试中显示出更高的准确性。GrowthHacker 利用 LLM 代理自主优化离策略评估 (OPE) 代码，证明了改进 OPE 系统的可行性。ZPPO 将教师模型保留在提示中而不是策略梯度中，从而增强了小型学生模型的知识蒸馏。GD$^2$PO 通过过滤掉具有…
-
新的自蒸馏方法提高了大型语言模型在推理任务上的性能
研究人员开发了新的大型语言模型自蒸馏技术，可在不依赖外部反馈的情况下提高其性能。AVSD（自适应视图自蒸馏）在多个特权信息视图之间平衡共识信号，并使用视图特定的残差来增强学习。自策略蒸馏（SPD）从梯度中提取能力子空间，以提高性能和泛化能力，尤其是在代码生成和数学推理方面。CEPO（对比证据策略优化）通过对比正确答案和错误答案来锐化关键标记的信用分配，从而提高了多模态数学推理基准的准确性。
-
Kwai AI的SRPO以10倍的训练步数实现了DeepSeek-R1-Zero的性能
来自快手Kwaipilot团队的研究人员开发了一个名为SRPO的新型强化学习框架，旨在提高大型语言模型的效率和性能。该新方法通过采用两阶段训练过程，解决了标准GRPO在样本效率和跨域优化冲突等方面的局限性。SRPO在数学和代码基准测试中展示了最先进的性能，达到了DeepSeek-R1-Zero的水平，同时仅需十分之一的训练步数。