TAUmus

CanvasAnneal框架通过课程强化学习提升扩散语言模型的推理能力

研究人员开发了CanvasAnneal，一个用于扩散语言模型（DLMs）的新框架，该框架使用课程强化学习来提高它们的推理和工具使用能力。这种方法在训练的初始阶段注入来自更强教师模型的指导，并随着DLM学会独立生成推理轨迹而逐渐减少。在MATH500和Countdown等基准测试上的实验表明，CanvasAnneal可以加速奖励的提高，并优于标准的diffu-GRPO，尽管收益因任务而异。