mathematical reasoning
PulseAugur coverage of mathematical reasoning — every cluster mentioning mathematical reasoning across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新研究探索高效的混合专家模型路由
两篇新研究论文探讨了混合专家（MoE）模型的进展，这是一种用于扩展大型语言模型的技术。第一篇论文ScoutRoute介绍了一个轻量级的高效专家路由框架，该框架利用了来自侦察模型的内部语言模型信号，在各种基准测试中表现优于现有方法。第二篇论文MirrorMoE通过提出一种自适应于token的非必要专家抑制方法，解决了现代MoE架构中的探索困境，以提高性能并更好地利用细粒度的专家分割。
-
新框架创建多语言大模型安全与推理评估
研究人员开发了一个新的框架，用于创建大语言模型（LLM）的多语言评估，旨在跨不同语言保留基准测试的含义。这种推理引导翻译方法将策略选择与生成分开，使用任务感知验证和质量筛选。由此产生的集合涵盖了11种语言的七个安全、对话和数学推理资源，揭示了开源LLM中显著的语言依赖性漏洞，例如不一致的安全拒绝和低资源语言中的推理退化。
-
新的协同学习方法通过模型切片增强LLM推理能力
研究人员引入了一种名为“协同学习”的新方法，以增强大型语言模型（LLM）的推理能力。该方法涉及将一个大型模型分解为多个小型、异构的“模型切片”，然后让它们协同工作。通过采用“金字塔监督”，该方法结合了协议蒸馏和步进式指导，这些协同体可以改进它们的推理和交互过程。在问答、数学推理、代码生成和约束生成任务上的实验表明，这种协同方法在性能上可与原始大型模型和现有的多智能体系统相媲美甚至更优，同时还提高了推理效率。
-
新研究探讨大型语言模型推理中的过程奖励，并质疑上下文强化学习的有效性
一个名为 PROGRS 的新框架已被开发出来，用于改进大型语言模型在数学推理中的强化学习过程奖励的使用。该方法在 arXiv 论文中有所详述，它将过程奖励视为结果组内的相对偏好，而不是绝对目标，以防止奖励攻击并确保结果的正确性仍然占主导地位。在多个基准测试上的实验表明，PROGRS 持续优于仅基于结果的基线。另外，Hugging Face 的一项研究质疑上下文强化学习（ICRL）是否真正起到了强化学习的作用，发现虽然奖励被读取，但其影…
-
新框架Prompt2Skill通过自然语言指令优化LLM技能
研究人员开发了Prompt2Skill，一个新颖的框架，旨在仅使用自然语言指令为大型语言模型（LLMs）创建和优化技能。该方法通过自动推导任务规范、发现或合成数据集以及通过反思性编辑过程来完善技能，解决了专家编写技能的高成本和局限性。Prompt2Skill在包括问答、阅读理解、电子表格操作和数学推理在内的各种领域平均取得了10.8%的显著改进，在开源模型和前沿模型上均优于直接提示基线。
-
LLM偏好生成与校准研究显示模型不一致性及改进方法
近期研究探讨了大型语言模型（LLM）生成偏好的可靠性和校准性。一项研究发现，虽然LLM在偏好上表现出自洽性，但在不同模型和规模之间存在显著的不一致性，表明提示词措辞的影响不如模型选择大。另一篇论文证明，较小的、冻结的模型可以生成比自身生成更有效的“拒绝”样本用于偏好蒸馏，从而降低计算成本。第三项研究引入了基于评分卡的偏好（Rubric-Calibrated Preferences, RCP），以提高LLM在信息检索中判断的质量和跨查询…
-
新的熵正则化方法改进了可验证任务的AI模型训练
研究人员发现，在标准交叉熵（CE）训练与在数学推理和代码生成等可验证领域生成正确输出的目标之间存在不匹配。这个问题之所以出现，是因为即使CE训练能够准确模仿专家演示，它也可能无意中为不正确的输出分配更高的概率。为了解决这个问题，提出了一种名为熵正则化交叉熵（ER-CE）的新方法，该方法使用令牌级别的香农熵作为代理来控制策略的支持并防止质量扩散到不支持的输出。在数学推理和代码生成基准上的实验表明，与标准CE相比，ER-CE始终能提高验证器的准确性。
-
新的“学习教练”框架增强了大型语言模型的体验式学习
研究人员开发了一个名为学习教练（L2C）的新框架，旨在改进语言模型从经验中学习的方式。L2C 训练一个专门的“大型语言模型即教练”来从行为模型过去的表现中提炼出可操作的见解，而不是依赖于原始的、冗长的轨迹。该教练模型经过训练，可以通过最大化基于行为者指导输出的奖励来增强后续响应，无论是在同一问题上还是在新实例上。在数学推理和基于文本的游戏中的实验表明，L2C 超越了标准的自我完善技术和未经训练的教练模型，展示了向不同任务和行为者的有效知识转移。
-
新研究推进用于LLM训练的on-policy distillation · 追踪6个来源
研究人员正在开发用于on-policy distillation (OPD) 的先进技术，这是一种用于改进大型语言模型的方法。$\\gamma$OPD和STRIDE等新方法旨在通过改进时间信用分配方式以及何时停止或重启训练来提高优化稳定性和效率。其他研究探索了无数据蒸馏，即模型生成自己的训练问题，以及SCOPE-OPSD等利用特权子空间改进自蒸馏的方法，这些方法在数学推理和代码生成等领域显示出前景。
-
RISE 方法通过自外推增强语言模型训练
研究人员推出了一种新颖的、通过自外推策略蒸馏来改进语言模型训练后性能的方法——RISE。该技术利用模型自身的强化学习轨迹构建一个合成教师，将稀疏的结果诱导更新转化为密集的 token 级目标，无需外部模型。RISE 在人类反馈强化学习 (RLHF) 和 On-Policy Distillation (OPD) 之间形成一个循环，其中结果奖励指导外推，而外推的教师则优化 token 决策。实验表明，RISE 在数学推理、STEM 和代码…
-
新的SHAPE框架解码大语言模型数学推理策略
研究人员开发了一个名为SHAPE的新框架，用于分析大语言模型（LLMs）在数学任务中的思维链（CoT）推理过程。SHAPE检查模型如何语义化地解释问题以及它们采用的具体数学启发式方法。该框架发现，模型使用的启发式方法比一般的CoT特征更能指示正确答案，并且将推理集中在更少的语义空间内可以带来更好的结果，这与人类行为相似。此外，SHAPE揭示了强化学习会鼓励特定的启发式方法使用，而一种促进多样化启发式方法的训练后方法提高了LLM的准确性。
-
新的 WHALE 方法联合优化 AI 代理权重和 Harness 代码
研究人员开发了一种名为 WHALE（Weight-Harness Alternating LEarning）的新方法，通过同时更新模型权重和管理上下文与控制流的 Harness 代码来联合优化 AI 代理性能。该方法在更新模型和搜索改进的 Harness 之间交替进行，解决了单独优化一个组件会限制另一个组件的瓶颈问题。使用 Qwen3.5-2B/4B 代理在 SearchQA、数学推理和国际象棋谜题等任务上的实验表明，WHALE 的性…
-
新的APTER框架通过专家反馈的评估标准增强LLM推理能力
研究人员开发了APTER，一个旨在增强大型语言模型在专业领域推理能力的新框架。APTER整合了结构化的领域知识，创建了用于评估和优化的自适应的、专家反馈的评估标准。这种方法通过识别和解决数学推理和医学问答等领域的特定缺陷来实现有针对性的微调，从而显著提高性能。
-
LLM-as-a-Judge框架通过新颖的奖励系统提升AI推理能力
研究人员开发了一种新颖的半监督学习框架，该框架利用大型语言模型（LLM）作为裁判来将知识蒸馏到AI模型中。该方法采用连续的思维链（CoT）奖励，该奖励由裁判LLM的输出来计算，为未标记数据提供有效的训练信号。该框架在利用地面真实奖励的方法方面，表现出相当或更优的性能，尤其是在未标记数据增加的情况下。将这种基于LLM的奖励与半监督设置中的可验证奖励相结合被证明具有协同作用，在各种任务和模型架构中将数学推理能力提高了5-10%。
-
新的RLSVR方法将LLM的自我改进扩展到开放式任务 · 跟踪 4 个来源
研究人员开发了具有可验证奖励的强化学习（RLSVR），这是一种新的训练范式，将具有可验证奖励的强化学习（RLVR）的应用扩展到开放式任务。传统的RLVR仅限于数学和编码等易于验证正确性的领域。RLSVR将开放式任务转化为可验证的代理环境，利用SpyRL多智能体游戏等机制生成自动奖励信号。实验表明，这种方法在文本摘要和创意写作等任务上提高了性能，同时在可验证推理任务上也取得了进步。
-
新的SAR方法从LLM更新中提取紧凑型推理核心
研究人员开发了子空间对齐重构（SAR），一种新颖的大型语言模型事后编辑方法。SAR识别并分离出强化学习更新中的核心推理组件，这些组件通常集中在模型的谱空间中。通过保留这些基本组件并移除正交的、效果较差的部分，SAR可以在保留超过99%的训练后性能的同时，提高数学推理和代理编码能力。该技术还有助于模型合并和纯化混合域训练，展示了其作为增强LLM性能的无训练机制的潜力。
-
新的SMMD训练方法增强了LLM的数值精度
研究人员开发了一种名为平滑最大均值差异（SMMD）的新训练目标，以提高大型语言模型（LLM）的数值精度。标准的交叉熵训练将数值标记视为类别，忽略了它们固有的值结构。SMMD通过引入值距离核和基于图的平滑性来解决这个问题，将预测分布与目标值对齐，并鼓励局部一致性。在数学推理和图表问答等任务上，对各种LLM和视觉语言模型骨干的评估表明，SMMD的性能始终优于现有方法。
-
新的LLM强化学习策略增强探索能力
研究人员推出了一种名为深度密集探索（DDE）的新策略，旨在改进大型语言模型的强化学习。DDE专注于探索不成功轨迹中的深度、可恢复状态，这是当前GRPO和基于树的方法等方法难以解决的挑战。DDE中提出的DEEP-GRPO实现使用数据驱动的效用函数来识别这些关键的“支点”状态，从而实现局部密集重采样和双流优化，以实现更有效的学习。在数学推理任务上的实验表明，DEEP-GRPO的性能显著优于现有基线。
-
代码并不能提高LLM的数学推理能力；结构化追踪可以
一篇新的研究论文探讨了代码对大型语言模型数学推理能力的影响。研究发现，虽然代码可以提高编程能力，但它并不能普遍增强数学推理能力，甚至可能与知识密集型任务产生竞争。研究人员发现，结构化推理追踪（如数学-文本混合）比单独的可执行代码更能有效地提高推理能力。他们建议，增加结构化数学领域样本的密度，可以提供一种有针对性的方法来提升数学推理能力，而不会牺牲编程性能。
-
新的自蒸馏方法增强了大型语言模型的推理能力和训练稳定性
两篇新论文探讨了用于大型语言模型的先进自蒸馏技术，旨在提高推理能力和效率。第一篇论文介绍了“Power Distribution Bridges”，它连接了采样、自奖励强化学习和自蒸馏，表明功率分布可以优化 KL 正则化强化学习并实现一种新的离线蒸馏形式。第二篇论文提出了“基于偏好的自蒸馏”（PBSD），超越了简单的 KL 匹配，采用了一种奖励正则化目标来优化偏好差距，从而提高了训练稳定性和在推理及工具使用基准测试上的性能。