研究人员开发了 CoCurve，一种新颖的、无需训练即可对大型语言模型 (LLM) 进行结构化剪枝的方法。与先前独立评估计算单元的方法不同，CoCurve 考虑了 Transformer 中注意力头和前馈网络之间的相互依赖性。通过分析协同剪枝曲率（量化同时移除多个单元所产生的额外损失），CoCurve 可以在无需微调或标签的情况下更有效地识别和移除冗余组件。 AI
影响 该方法通过在无需重新训练的情况下进行有效剪枝，有望实现更高效的大模型部署。
排序理由 该集群描述了在 arXiv 上的研究论文中提出的一种新颖方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.17568v1 Announce Type: cross Abstract: Structured pruning compresses large language models (LLMs) by removing whole computational units, such as attention heads and feed-forward (FFN) channel groups. Most training-free methods, however, rank these units independently, …
Structured pruning compresses large language models (LLMs) by removing whole computational units, such as attention heads and feed-forward (FFN) channel groups. Most training-free methods, however, rank these units independently, implicitly treating the loss from pruning a set as…