实体
Countdown
Countdown
PulseAugur coverage of Countdown — every cluster mentioning Countdown across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
关系
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
CanvasAnneal框架通过课程强化学习提升扩散语言模型的推理能力
研究人员开发了CanvasAnneal，一个用于扩散语言模型（DLMs）的新框架，该框架使用课程强化学习来提高它们的推理和工具使用能力。这种方法在训练的初始阶段注入来自更强教师模型的指导，并随着DLM学会独立生成推理轨迹而逐渐减少。在MATH500和Countdown等基准测试上的实验表明，CanvasAnneal可以加速奖励的提高，并优于标准的diffu-GRPO，尽管收益因任务而异。
-
研究论文详细介绍了多令牌预测如何帮助 Transformer 进行规划
一篇新研究论文探讨了多令牌预测（MTP）如何使 Transformer 比标准的下一令牌预测（NTP）更有效地执行规划和推理任务。研究表明，在图路径查找和 Countdown 等推理基准测试中，MTP 的表现优于 NTP。理论上，MTP 通过首先关注结束节点来鼓励路径的向后重建，这一过程得益于梯度解耦特性，该特性提供了更清晰的训练信号。
-
掩码蒸馏训练大型语言模型内化推理步骤
研究人员开发了一种名为掩码蒸馏的新方法，用于训练语言模型内化推理的计算步骤，从而降低延迟和成本。该技术训练学生模型仅预测最终答案，并利用提供推理轨迹的教师模型的反馈。在算术和数字谜题任务上的实验表明，该方法能有效地将推理过程浓缩到模型参数中。