RAZOR方法在不牺牲推理能力的情况下精简大型语言模型专家

研究人员开发了RAZOR，一种在不显著降低推理能力的情况下精简混合专家（MoE）模型中专家的新方法。与以往关注专家频率或孤立贡献的方法不同，RAZOR通过衡量专家删除造成的损害来评估功能可替换性。这种无需训练的方法使用共识残差来计算删除专家所产生的确切输出变化，仅通过前向传播即可实现精简。RAZOR在多个大型语言模型和专家移除预算上均表现出卓越的性能，在以推理为中心的任务上优于现有方法。 AI

影响 该方法有可能通过降低计算需求而无需在复杂的推理任务上牺牲性能，从而实现更高效的大型语言模型。

排序理由 该集群包含一篇详细介绍精简大型语言模型新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• DeepSeek-V4-Flash-0731
• GLM 4.7 Flash
• Mingyang Song
• Mixture-of-Experts (MoE) models
• Qwen3.6 35B-A3B
• RAZOR
• REAP

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →