新的剪枝方法可保留LLM推理性能

研究人员开发了一种名为因果归因剪枝（CAP）的无训练新方法，可在不损害其推理能力的情况下减小大型语言模型的规模。CAP通过衡量注意力头对推理任务的因果影响来识别和剪枝不那么关键的注意力头。与Wanda等现有方法相比，该方法在ARC-Challenge等基准测试上表现出显著的改进，并在中等稀疏度水平下对Llama-3和Mistral-7B-Instruct等模型显示出潜力。 AI

影响 该方法有望实现更高效的LLM，降低推理成本，并使更高级的推理能力更加普及。

排序理由 该集群包含一篇学术论文，详细介绍了一种用于剪枝大型语言模型的新方法。

在 arXiv cs.CL 阅读 →

• ARC challenge
• Causal Attribution Pruning
• GSM8K
• Llama 3
• LLaMA-3-8B-Instruct
• Mistral-7B-Instruct
• multilayer perceptron
• StrategyQA
• Wanda

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →