来自Meta FAIR和华盛顿大学的研究人员开发了一种新颖的蒸馏技术,该技术训练更小的字节级语言模型,以实现比传统Token级模型更高的性能上限。通过将教师模型的Token logits转换为字节logits,“Token结束”(End-Of-Token)方法使学生模型能够从256个字节的较小、固定词汇表中学习,而不是大型Token词汇表。使用Llama 3-8B作为教师进行的实验表明,字节级蒸馏,特别是“Token结束”方法,在预测准确性和数据效率方面优于Token级蒸馏,并预计其性能可能超过现有的1B参数模型。 AI
影响 这项研究为训练更强大、更小的模型提供了一条新途径,有可能降低实现高性能所需的计算和数据需求。
排序理由 研究论文,详细介绍了一种训练更小语言模型的新颖方法。
- Bytes-1B
- End-Of-Token
- Gemma 2B
- Gemma-3-1B-pt
- Llama 3.2:1b
- Marginalize-It
- Token-1B
- Llama 3-8B
- Meta
- University of Washington
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →