研究人员开发了一个有效的蒸馏流程，将具有二次注意力机制的大型语言模型（LLMs）的知识转移到基于xLSTM的亚二次架构上。该方法旨在实现无损蒸馏，其定义是学生模型和教师模型之间具有可比的胜负平局率。该流程包括一个额外的合并阶段，将线性化专家合并成一个单一模型，成功地蒸馏了Llama、Qwen和Olmo系列的模型。在许多情况下，xLSTM学生模型在各种下游任务上的表现接近甚至超过了它们的教师LLM，这朝着更节能的LLM替代品迈出了一步。 AI
影响 这项研究通过使更小、亚二次的模型能够保留大部分基于二次注意力机制的大型模型的性能，为更节能、更具成本效益的大型语言模型提供了一条途径。
排序理由 该集群包含一篇学术论文，详细介绍了一种将大型语言模型蒸馏到不同架构的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
