RSTG

新方法通过恢复学习信号来增强LLM的强化学习

研究人员开发了一种名为RSTG（通过自适应教师指导恢复学习信号）的新方法，以改进大型语言模型的强化学习。该技术通过选择性地从教师模型进行蒸馏来解决GRPO等方法中稀疏奖励信号的问题。RSTG将蒸馏集中在负零方差提示上，根据教师置信度对样本进行加权，并针对学生熵高或师生分歧大的特定标记。此外，它还结合了对教师生成的正确轨迹进行监督微调，在RL失败的地方注入正梯度信号。实验表明，RSTG在数学和代码任务上的表现明显优于标准的GRPO+OPD。