Byte-Prefix Marginalization

新的字节前缀边际化方法改进语言模型蒸馏

研究人员开发了一种名为字节前缀边际化（BPM）的新方法，用于开放权重语言模型的在线策略蒸馏（OPD）。BPM通过在共享字节空间中重新表达教师模型在学生模型词汇表上的概率分布，解决了合并具有不同分词器的模型所面临的挑战。即使分词器不同，该方法也能确保概率质量的保留和准确映射。实验表明，当与Qwen3-32B、GLM-Z1-9B-0414和MiniMax-M2.7等模型一起使用时，BPM在数学和编程基准测试上的表现显著优于现有的跨分词器方法。