研究人员开发了一种新方法,通过扰动教师模型的输入来改进语言模型的知识蒸馏。该技术通过向 token 添加噪声或混合文档,在预训练蒸馏中显示出显著的收益,准确率比标准蒸馏提高了高达 1.45 倍。改进后的学生模型在下游迁移任务中也表现更好,在七项任务的零样本准确率上提高了 1 个百分点。 AI
影响 增强了知识蒸馏技术,有望带来更高效、更准确的语言模型。
排序理由 该集群包含一篇研究论文,详细介绍了一种改进语言模型蒸馏的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- additive token noise
- Hugging Face
- knowledge distillation
- language model
- Perturbing Inputs Improves Pretraining Distillation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →