研究人员开发了一种方法，可以显著剪枝混合专家（MoE）大型语言模型，特别是针对编码能力。通过移除模型中多达一半的专家，他们在Qwen3.6 35B-A3B和Gemma 4 26B-A4B等基准测试中未发现编码性能有统计学上的显著损失。然而，最优剪枝策略在不同模型家族之间存在差异，表明需要进行特定任务的验证。该研究还强调，困惑度等传统指标可能具有误导性，并且虽然微调可以恢复部分性能损失，但剪枝仍然比激进的量化更有效。 AI
影响 这项研究通过在不牺牲性能的情况下减小大型编码模型的内存占用，有望在消费级硬件上实现更高效的部署。
排序理由 详细介绍LLM剪枝新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
