mathematical reasoning
PulseAugur coverage of mathematical reasoning — every cluster mentioning mathematical reasoning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的SMMD训练方法增强了LLM的数值精度
研究人员开发了一种名为平滑最大均值差异（SMMD）的新训练目标，以提高大型语言模型（LLM）的数值精度。标准的交叉熵训练将数值标记视为类别，忽略了它们固有的值结构。SMMD通过引入值距离核和基于图的平滑性来解决这个问题，将预测分布与目标值对齐，并鼓励局部一致性。在数学推理和图表问答等任务上，对各种LLM和视觉语言模型骨干的评估表明，SMMD的性能始终优于现有方法。
-
新的LLM强化学习策略增强探索能力
研究人员推出了一种名为深度密集探索（DDE）的新策略，旨在改进大型语言模型的强化学习。DDE专注于探索不成功轨迹中的深度、可恢复状态，这是当前GRPO和基于树的方法等方法难以解决的挑战。DDE中提出的DEEP-GRPO实现使用数据驱动的效用函数来识别这些关键的“支点”状态，从而实现局部密集重采样和双流优化，以实现更有效的学习。在数学推理任务上的实验表明，DEEP-GRPO的性能显著优于现有基线。
-
代码并不能提高LLM的数学推理能力；结构化追踪可以
一篇新的研究论文探讨了代码对大型语言模型数学推理能力的影响。研究发现，虽然代码可以提高编程能力，但它并不能普遍增强数学推理能力，甚至可能与知识密集型任务产生竞争。研究人员发现，结构化推理追踪（如数学-文本混合）比单独的可执行代码更能有效地提高推理能力。他们建议，增加结构化数学领域样本的密度，可以提供一种有针对性的方法来提升数学推理能力，而不会牺牲编程性能。
-
新的自蒸馏方法增强了大型语言模型的推理能力和训练稳定性
两篇新论文探讨了用于大型语言模型的先进自蒸馏技术，旨在提高推理能力和效率。第一篇论文介绍了“Power Distribution Bridges”，它连接了采样、自奖励强化学习和自蒸馏，表明功率分布可以优化 KL 正则化强化学习并实现一种新的离线蒸馏形式。第二篇论文提出了“基于偏好的自蒸馏”（PBSD），超越了简单的 KL 匹配，采用了一种奖励正则化目标来优化偏好差距，从而提高了训练稳定性和在推理及工具使用基准测试上的性能。