新的字节前缀边际化方法改进语言模型蒸馏

研究人员开发了一种名为字节前缀边际化（BPM）的新方法，用于开放权重语言模型的在线策略蒸馏（OPD）。BPM通过在共享字节空间中重新表达教师模型在学生模型词汇表上的概率分布，解决了合并具有不同分词器的模型所面临的挑战。即使分词器不同，该方法也能确保概率质量的保留和准确映射。实验表明，当与Qwen3-32B、GLM-Z1-9B-0414和MiniMax-M2.7等模型一起使用时，BPM在数学和编程基准测试上的表现显著优于现有的跨分词器方法。 AI

影响 这项新的蒸馏技术可以实现对不同开放权重模型更有效的合并，可能带来更强大、更紧凑的学生模型。

排序理由 该集群包含一篇详细介绍语言模型蒸馏新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• Byte-Prefix Marginalization
• GLM-Z1-9B-0414
• Hugging Face
• MiniMax-M2.7
• on-policy distillation
• open-weight language models
• Qwen3-32B

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →