研究人员开发了PALS（Percentile-Aware Layerwise Sparsity），一种用于剪枝大型语言模型的新颖方法。与现有的应用统一稀疏性的一次性方法不同，PALS根据激活幅度动态调整每层的稀疏性比例。这种方法在LLaMA-2-7B的困惑度方面显示出显著的改进，取得了比统一剪枝方法更好的结果。然而，其益处依赖于架构，LLaMA-3-8B仅显示边际收益，而Mistral-7B则没有显示任何收益。 AI
影响 这项研究可能通过减小模型尺寸而不显著降低性能，从而实现更高效的LLM部署。
排序理由 该集群描述了在学术论文中提出的一种新的LLM剪枝方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.07557v1 Announce Type: new Abstract: One-shot pruning methods like Wanda and SparseGPT apply the same sparsity ratio to every layer of a transformer, ignoring known variation in layer importance. We propose PALS (Percentile-Aware Layerwise Sparsity), which adjusts per-…
One-shot pruning methods like Wanda and SparseGPT apply the same sparsity ratio to every layer of a transformer, ignoring known variation in layer importance. We propose PALS (Percentile-Aware Layerwise Sparsity), which adjusts per-layer sparsity based on the 99th percentile of a…