Jingyuan Huang

强化学习教师在模型合并研究中产生更强的学生模型

一篇新发表在arXiv上的研究论文，题为“Train4Merge: 一项关于基于OPD的模型合并的RL与SFT教师的受控单教师研究”，调查了在单策略蒸馏（OPD）模型合并中，用于创建专家模型的不同训练算法的有效性。研究人员比较了监督微调（SFT）和强化学习（RL）教师，发现RL教师在代理、推理和感知领域持续产生更强的学生模型。研究观察到，RL指导下的学生模型恢复了更多教师的性能增益，其中一个案例甚至超越了教师的性能。