Bowen Yu

新的课程学习方法可将 CoT 推理高效蒸馏到更小的模型中

研究人员开发了一种新颖的三阶段课程学习框架，用于将大型语言模型的思维链（CoT）推理蒸馏到更小、更高效的模型中。该方法采用结构感知掩码和组相对策略优化（GRPO），以渐进方式增强学生模型在不过度冗长的情况下复现教师推理的能力。在 GSM8K 基准测试上的实验表明，使用此蒸馏技术的 Qwen2.5-3B-Base 在准确率提高了 11.29% 的同时，输出长度减少了 27.4%，优于现有的蒸馏方法。