AlphaPruning

新方法通过层吸收洞察改进大型语言模型剪枝

研究人员开发了一种名为“吸收感知校正”的新方法，通过剪枝来提高大型语言模型（LLMs）的效率。该技术描述了LLMs中的不同层如何响应扰动，发现早期层倾向于放大扰动，而后期层则倾向于吸收扰动。通过结合这种理解，该方法增强了现有的剪枝技术，如OWL和AlphaPruning，在70%稀疏度下，跨不同模型家族，困惑度降低了7.13%，零样本准确率提高了1.02%。