新的 PALS 剪枝方法在 LLM 上显示出架构相关的收益

研究人员开发了 PALS（Percentile-Aware Layerwise Sparsity，百分位数感知层级稀疏性），一种用于剪枝大型语言模型（LLM）的新颖方法，该方法将稀疏度比例定制到各个层。与应用统一稀疏度的先前方法不同，PALS 根据激活幅度的第 99 百分位数调整剪枝，目标稀疏度比例的误差在 $\pm 5\%$ 以内。这种方法在 LLaMA-2-7B 上显示出显著的改进，与 Wanda 等统一稀疏度方法相比，在 WikiText-2 上的困惑度降低了 2 个多点。然而，PALS 的优势取决于架构，在 LLaMA-3-8B 上收益甚微，在 Mistral-7B 上没有改进。该方法增加了最小的计算成本，并且不需要微调。 AI

影响 这项新的剪枝技术可能带来更高效的 LLM，尽管其有效性因模型架构而异。

排序理由 该集群包含一篇详细介绍 LLM 剪枝新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• LLaMA-2-7B
• LLaMA-3-8B
• Mistral-7B
• PALS
• SparseGPT
• Wanda
• WikiText-2

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →