MILA Research Institute

苹果研究人员将Transformer知识蒸馏到Mamba架构

来自Apple Inc.的研究人员开发了一种新方法，将知识从Transformer模型蒸馏到类似Mamba的架构中。他们的两阶段方法首先使用核技巧将知识蒸馏到一个线性化注意力模型中，然后将其蒸馏到一个适应的Mamba模型中。这种技术使蒸馏后的Mamba模型能够保留原始Transformer的大部分性能，困惑度达到14.01，而教师模型的困惑度为13.86，尽管在需要强大上下文内回忆的任务上出现了一些差距。