CoCurve

CoCurve 方法通过分析跨模块依赖性来剪枝大模型

研究人员开发了 CoCurve，一种新颖的、无需训练即可对大型语言模型 (LLM) 进行结构化剪枝的方法。与先前独立评估计算单元的方法不同，CoCurve 考虑了 Transformer 中注意力头和前馈网络之间的相互依赖性。通过分析协同剪枝曲率（量化同时移除多个单元所产生的额外损失），CoCurve 可以在无需微调或标签的情况下更有效地识别和移除冗余组件。