研究人员开发了用于剪枝大语言模型（LLMs）的新方法，以减小其尺寸和计算需求。一种方法，Global RKU-GISP，使用新颖的“全局相对动力学效用”指标来比较和选择LLM不同层之间的通道，在Qwen-2.5-7B上测试时，在各种稀疏度水平下模型性能均有显著提高。另一种方法，IrekoGPT，将预训练的LLM转化为“可瘦身”模型，可以在推理时调整其宽度，该方法基于SliceGPT，并在Llama和Qwen模型上展示了优于简单瘦身技术的收益，尤其是在更高的压缩率下。 AI
影响 这些方法可以实现LLM在资源受限设备上的更高效部署，并降低推理成本。
排序理由 该集群包含两篇学术论文，详细介绍了LLM剪枝的新颖方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.09008v2 Announce Type: replace-cross Abstract: Global structured pruning requires channels from different layers to compete under a shared sparsity budget, raising two coupled challenges: identifying which channels should be retained and making their scores comparable …
arXiv:2610.00426v1 Announce Type: cross Abstract: We introduce IrekoGPT, a post-hoc method for converting pretrained LLMs into slimmable models whose width can be adjusted at inference time. Building on SliceGPT, we retain its projection matrices without pruning them, allowing a …