新的COEC框架提高了LLM剪枝的准确性

研究人员开发了一个名为COEC（Calibrated Orthogonal-Equivalence Compensation）的新的无训练框架，旨在减轻结构化剪枝后大型语言模型（LLMs）的准确性下降问题。COEC采用交替的左右正交旋转来处理保留的权重，在缩减的Stiefel流形上进行优化，并使用广义交叉验证进行正则化。在Llama-3、Llama-3.1和Qwen2.5模型上的实验表明，与现有的补偿方法相比，COEC在困惑度和零样本准确性方面有所提高，尤其是在更高的稀疏度水平下。 AI

影响 这项研究提供了一种在不显著降低性能的情况下减小LLM规模和推理成本的方法，有可能促进大型模型的广泛部署。

排序理由 该集群包含一篇详细介绍LLM剪枝新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Gramian matrix
• Hugging Face
• large language models
• Llama-3
• Llama-3.1
• Qwen2.5
• Stiefel manifold

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →