Mean Activation Norm

新方法揭示了高效的MoE语言模型剪枝技术

两篇新的研究论文提出了用于剪枝混合专家（MoE）语言模型的新颖方法，以在不牺牲性能的情况下减少内存使用。第一篇论文介绍了AIMER，这是一种无校准标准，根据权重的集中度对专家进行排名，在各种基准测试和模型规模上均优于现有方法。第二篇论文提供了一个用于单次MoE专家剪枝的统一公式，从而为特定任务和非特定任务的剪枝制定了选择原则，并引入了两个新标准MAN和MSAN，它们在多个模型和任务上均表现出强劲的性能。