SHAPE框架通过模拟专家联盟来剪枝MoE大语言模型

研究人员开发了一个名为SHAPE的新框架，用于剪枝稀疏专家混合（MoE）大语言模型中的专家。与之前独立评估专家的旧方法不同，SHAPE考虑了MoE推理的协作性质，即专家以联盟的形式协同工作。该框架使用一种类似Shapley的归因方法来识别对高价值协作至关重要的专家，从而实现更有效的剪枝。在Qwen3-30B-A3B、GPT-OSS-20B和DeepSeek-V2-Lite等模型上的实验表明，即使剪枝高达40%的专家，SHAPE也能在不显著损失准确性的情况下大幅减小内存占用。 AI

影响 通过降低内存需求而不牺牲准确性，从而能够更高效地部署大型MoE模型。

排序理由 该集群包含一篇详细介绍剪枝MoE大语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• DeepSeek-V2-Lite
• GPT-OSS-20B
• Mixture-of-Experts
• Qwen3-30B-A3B

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →