PulseAugur
中
实时 14:53:07
English(EN) A Free Lunch in LLM Compression: Revisiting Retraining after Pruning

LLM剪枝适应方法以更少的计算量媲美再训练

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新的方法来适应剪枝后的大型语言模型（LLMs），称为局部重构。该技术涉及一次适应模型参数的子集，以匹配原始密集模型的激活，即使对于多达720亿参数的模型也证明是有效的。局部重构实现了与完全再训练相当的性能，但需要显著更少的数据和计算量，并且只要包含非线性子模块，其有效性在很大程度上独立于特定的窗口大小。研究还发现，这种适应方法降低了剪枝标准本身的重要性，使得更简单的剪枝技术在更大模型规模下更具竞争力。 AI

影响 这项研究提供了一种更有效的方法来适应剪枝后的LLMs，有可能降低推理成本，并使更简单的剪枝方法适用于大规模模型。

排序理由 详细介绍LLM适应新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Moritz Wagner, Christophe Roux, Max Zimmer, Sebastian Pokutta ·

    LLM压缩的免费午餐：修剪后重新训练的再思考

    arXiv:2510.14444v3 Announce Type: replace-cross Abstract: Post-training pruning can substantially reduce LLM inference costs, but it often degrades quality unless the remaining weights are adapted. Since global retraining is expensive at LLM scale, recent work has largely focused…

相关实体

相关话题