一篇新的研究论文探讨了剪枝对大型语言模型(LLM)在智能家居工具调用特定场景下的影响。该研究系统地评估了剪枝引起的退化,涉及多种LLM架构,包括密集Transformer、密集混合模型和专家混合(MoE)模型,并使用了多种剪枝方法。结果表明,MoE模型比密集模型更能抵抗剪枝,并且剪枝会先影响具体细节的准确性,然后影响到模式层面的意图,这可能导致密集模型出现过度拒绝。 AI
影响 剪枝LLM可以降低部署成本,但这项研究强调了需要仔细评估以避免在工具调用等关键功能上出现退化。
排序理由 这是一篇详细评估LLM剪枝技术的 ist 研究论文。
- alphaXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Innu-aimun
- Litmaps
- ScienceCast
- scite Smart Citations
- supervised fine-tuning
- transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →