研究人员开发了一种名为分支合并蒸馏的新方法，用于创建更小、高性能的大型语言模型。该方法涉及将知识从大型教师模型选择性地蒸馏到专门的学生模型中，然后将这些模型合并以提高泛化能力。结果模型TinyR1-32B-Preview在数学、编码和科学基准测试中，其准确性优于其蒸馏版本，同时在特定数学测试中的表现几乎与教师模型相当。 AI
影响 引入了一种新颖的蒸馏技术，有望为各种任务带来更高效、更易于访问的LLM。
排序理由 这是一篇详细介绍LLM新蒸馏方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2503.04872v3 Announce Type: replace Abstract: The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to …