Sign-Gated On-Policy Distillation

新的蒸馏方法提升AI模型的数学推理能力

研究人员开发了符号门控策略内蒸馏（SG-OPD），这是策略内蒸馏技术的一项进展。该新方法引入了一个二元验证器来过滤教师信号，从而提高了数学推理任务的性能。SG-OPD通过确保学生和教师轨迹之间更好的对齐以及在token级别更可靠的教师偏好，解决了标准策略内蒸馏的局限性。实验表明，SG-OPD在数学推理基准测试中，在每样本级别平均比标准策略内蒸馏高出1.98%，在每问题级别高出7.50%，取得了显著的提升。