研究人员开发了一种名为 Generic TB-Coverage 的新方法，用于剪枝稀疏激活的混合专家（MoE）语言模型。该方法使用 WikiText2 和 C4 等通用文本语料库进行校准，这与依赖单一聚合重要性分数的现有方法不同。通过在每个语料库上单独分析每个专家的效用，并强制执行基于预算的覆盖规则，Generic TB-Coverage 在创建最终剪枝掩码之前保留了高效用专家。在 Qwen1.5-MoE-A2.7B 和 DeepSeek-MoE-16B-Base 模型上的实验表明，与其他剪枝方法相比，在激进剪枝场景下，平均准确率有所提高，困惑度下降有所减少。 AI
影响 该方法可以通过减小大型MoE模型的规模而不显著降低性能，从而实现更高效的部署，尤其是在缺乏下游校准数据的情况下。
排序理由 该集群描述了一篇研究论文中提出的用于剪枝MoE语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
