English(EN) Calibration Data Trade-offs Across Capability Dimensions: Why Multi-Source Mixing Matters for High-Sparsity LLM Pruning

LLM剪枝面临能力权衡；新方法提高保留率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-03 04:00

研究人员发现，在剪枝大型语言模型时存在一种权衡：用于提高通用能力的校准数据可能会损害在编码和数学等专业任务上的性能。为解决此问题，他们提出了一种多源校准混合技术和一个名为IGSP的自动化协议。与单源校准相比，该方法显著提高了整体模型保留率，尤其是在高稀疏度水平下。 AI

影响新的剪枝技术可能能够更有效地在各种任务中部署大型语言模型。

排序理由学术论文，详细介绍了LLM剪枝的一种新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu · 2026-06-03 04:00

能力维度校准数据权衡：为何多源混合对高稀疏度 LLM 剪枝至关重要

arXiv:2606.03328v1 Announce Type: cross Abstract: Post-training pruning compresses large language models to high sparsity using a small unlabelled calibration set, and recent work has concluded that the choice of calibration source has only modest impact on averaged post-pruning …