SparseGPT
PulseAugur coverage of SparseGPT — every cluster mentioning SparseGPT across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的剪枝方法通过保留输出差异来提高LLM效率
研究人员推出了一系列名为“差异感知剪枝”的新剪枝方法，旨在提高大型语言模型的效率。这些方法侧重于保留模型输出之间的差异，而不仅仅是大的激活或层输出，以更好地捕捉稀疏性敏感神经元如何将相似的输入分离成不同的输出。所提出的技术，包括Wisp、Wisp+和Whisper，在各种Llama模型和参数大小上都显示出比现有基线持续的改进，甚至扩展到结构化稀疏性和其他模型家族。
-
80B Qwen大语言模型通过高级压缩在4.3GB内存上运行
在边缘设备上运行大型语言模型的突破已通过Qwen 80B模型得到展示，据报道该模型仅使用了4.3GB内存即可运行。这一成就归功于先进的压缩技术，如混合精度和显著性感知压缩，它们能够识别并移除冗余的模型权重。进一步的优化包括分组权重共享、结构化剪枝和字典编码，从而减小了模型的有效大小。Apple的硬件，特别是其统一内存架构和支持稀疏张量的AMX-3协处理器，在实现这种高效的设备端推理方面发挥着至关重要的作用。
-
PALS方法通过调整层级稀疏性来改进LLM剪枝
研究人员开发了PALS（Percentile-Aware Layerwise Sparsity），一种用于剪枝大型语言模型的新颖方法。与现有的应用统一稀疏性的一次性方法不同，PALS根据激活幅度动态调整每层的稀疏性比例。这种方法在LLaMA-2-7B的困惑度方面显示出显著的改进，取得了比统一剪枝方法更好的结果。然而，其益处依赖于架构，LLaMA-3-8B仅显示边际收益，而Mistral-7B则没有显示任何收益。