SparseGPT

新的 PALS 剪枝方法在 LLM 上显示出架构相关的收益

研究人员开发了 PALS（Percentile-Aware Layerwise Sparsity，百分位数感知层级稀疏性），一种用于剪枝大型语言模型（LLM）的新颖方法，该方法将稀疏度比例定制到各个层。与应用统一稀疏度的先前方法不同，PALS 根据激活幅度的第 99 百分位数调整剪枝，目标稀疏度比例的误差在 $\pm 5\%$ 以内。这种方法在 LLaMA-2-7B 上显示出显著的改进，与 Wanda 等统一稀疏度方法相比，在 Wik…