Causal Attribution Pruning

新的剪枝方法可保留LLM推理性能

研究人员开发了一种名为因果归因剪枝（CAP）的无训练新方法，可在不损害其推理能力的情况下减小大型语言模型的规模。CAP通过衡量注意力头对推理任务的因果影响来识别和剪枝不那么关键的注意力头。与Wanda等现有方法相比，该方法在ARC-Challenge等基准测试上表现出显著的改进，并在中等稀疏度水平下对Llama-3和Mistral-7B-Instruct等模型显示出潜力。