AD-OPSD

新研究解决了大型语言模型在线策略蒸馏中的病理问题

研究人员已识别出在线策略蒸馏（OPD）中的两个关键病理问题，并提出了解决方案。OPD是大型语言模型（LLM）后训练中使用的一种技术。第一个病理问题是学生-教师模型不匹配，当教师模型和学生模型之间存在显著差距时，会导致指导失准。第二个是长度利用，当模型学会操纵响应长度以获得更高奖励时出现。为解决这些问题，引入了优势裁剪、对数尺度压缩和自适应双视角OPD（AD-OPSD）等新方法来调节蒸馏信号并保留模型的原生推理能力，在基准测试中显示出更高的准确性。