PulseAugur
中
实时 08:57:59
English(EN) Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

新的课程学习方法可将 CoT 推理高效蒸馏到更小的模型中

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的三阶段课程学习框架，用于将大型语言模型的思维链（CoT）推理蒸馏到更小、更高效的模型中。该方法采用结构感知掩码和组相对策略优化（GRPO），以渐进方式增强学生模型在不过度冗长的情况下复现教师推理的能力。在 GSM8K 基准测试上的实验表明，使用此蒸馏技术的 Qwen2.5-3B-Base 在准确率提高了 11.29% 的同时，输出长度减少了 27.4%，优于现有的蒸馏方法。 AI

影响 这项技术可以实现强大的推理能力在资源受限的环境中更有效地部署。

排序理由 该集群包含一篇详细介绍模型蒸馏新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的课程学习方法可将 CoT 推理高效蒸馏到更小的模型中

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Bowen Yu, Maolin Wang, Sheng Zhang, Binhao Wang, Yi Wen, Jingtong Gao, Bowen Liu, Zimo Zhao, Wanyu Wang, Xiangyu Zhao ·

    Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

    arXiv:2602.17686v4 Announce Type: replace-cross Abstract: Distilling Chain-of-Thought (CoT) reasoning from large language models into compact student models presents a fundamental challenge: teacher rationales are often too verbose for smaller models to faithfully reproduce. Exis…

相关实体

相关话题