新表述统一了专家混合模型的专家剪枝

研究人员为“一次性”专家混合（MoE）语言模型的专家剪枝开发了一种统一的表述。这种新方法围绕路由频率、门控权重和激活强度来组织剪枝标准。该表述引出了一种基于任务是否为与任务无关或与任务相关的选择剪枝标准的原则。引入了两种新的与任务无关的标准：平均激活范数（MAN）和平均平方激活范数（MSAN），并在各种 MoE 模型和基准测试中展示了强大的性能。 AI

影响 这项研究为优化 MoE 模型部署提供了一种更系统的方法，有望在各种任务中实现更高效的内存使用和改进的性能。

排序理由 该集群包含一篇在 arXiv 上发表的研究论文，详细介绍了“一次性”MoE 专家剪枝的新表述和选择原则。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Hugging Face
• IArxiv
• Mean Activation Norm
• Mean Squared Activation Norm
• mixture of experts

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →