Countdown
PulseAugur coverage of Countdown — every cluster mentioning Countdown across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现 RL 后训练可增强 LLM 技能组合
一篇新研究论文探讨了强化学习（RL）后训练如何增强大型语言模型（LLM）的组合泛化能力，超越了简单的长度泛化。该研究使用 Countdown 任务，将模型解决方案分析为表达式树来表示技能。研究结果表明，RL 后训练能够实现对更大问题规模和新颖技能组合的分布外泛化。研究还揭示了技能习得的顺序受组合结构的影响，模型在掌握平衡树之后掌握不平衡树，并强调了深度、偏右结构持续存在的脆弱性。
-
新的DRLM方法通过并行草稿精炼增强复杂推理能力
研究人员推出了一种新颖的复杂推理方法——草稿精炼语言模型（DRLMs），该方法利用候选草稿的并行修订。与传统方法不同，DRLMs采用单一去噪器在一个前向传播中提出和评估这些修订，无需单独的评分模型。该方法在Countdown、Sudoku-Extreme和Maze-Hard等基准测试中，相较于自回归和离散扩散基线，展现出更优越的性能，并在参数量相对较少的情况下实现了显著的准确性提升。
-
CanvasAnneal框架通过课程强化学习提升扩散语言模型的推理能力
研究人员开发了CanvasAnneal，一个用于扩散语言模型（DLMs）的新框架，该框架使用课程强化学习来提高它们的推理和工具使用能力。这种方法在训练的初始阶段注入来自更强教师模型的指导，并随着DLM学会独立生成推理轨迹而逐渐减少。在MATH500和Countdown等基准测试上的实验表明，CanvasAnneal可以加速奖励的提高，并优于标准的diffu-GRPO，尽管收益因任务而异。
-
研究论文详细介绍了多令牌预测如何帮助 Transformer 进行规划
一篇新研究论文探讨了多令牌预测（MTP）如何使 Transformer 比标准的下一令牌预测（NTP）更有效地执行规划和推理任务。研究表明，在图路径查找和 Countdown 等推理基准测试中，MTP 的表现优于 NTP。理论上，MTP 通过首先关注结束节点来鼓励路径的向后重建，这一过程得益于梯度解耦特性，该特性提供了更清晰的训练信号。
-
掩码蒸馏训练大型语言模型内化推理步骤
研究人员开发了一种名为掩码蒸馏的新方法，用于训练语言模型内化推理的计算步骤，从而降低延迟和成本。该技术训练学生模型仅预测最终答案，并利用提供推理轨迹的教师模型的反馈。在算术和数字谜题任务上的实验表明，该方法能有效地将推理过程浓缩到模型参数中。