Moritz Wagner

LLM剪枝适应方法以更少的计算量媲美再训练

研究人员开发了一种新的方法来适应剪枝后的大型语言模型（LLMs），称为局部重构。该技术涉及一次适应模型参数的子集，以匹配原始密集模型的激活，即使对于多达720亿参数的模型也证明是有效的。局部重构实现了与完全再训练相当的性能，但需要显著更少的数据和计算量，并且只要包含非线性子模块，其有效性在很大程度上独立于特定的窗口大小。研究还发现，这种适应方法降低了剪枝标准本身的重要性，使得更简单的剪枝技术在更大模型规模下更具竞争力。