研究人员开发了一种名为LADDER(Layer-Wise Allocation via Damage-Driven Evaluation and Refinement,逐层分配通过损伤驱动评估和精炼)的新方法,以改进大型语言模型(LLM)的训练后剪枝。该技术逐步分配稀疏度,评估移除各层额外权重的影响,并选择导致每参数退化最小的更新。与均匀和自适应基线相比,LADDER在极高稀疏度(70%及以上)下表现出更优越的鲁棒性,结果显示在包括OPT、Llama和Qwen在内的多个模型上,整体零样本准确率的保持能力得到提升。 AI
影响 这项研究可能通过实现更高的稀疏度水平而无需显著的性能下降,从而实现更高效的LLM部署。
排序理由 该集群描述了一篇详细介绍LLM剪枝新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →