新方法通过层吸收洞察改进大型语言模型剪枝

研究人员开发了一种名为“吸收感知校正”的新方法，通过剪枝来提高大型语言模型（LLMs）的效率。该技术描述了LLMs中的不同层如何响应扰动，发现早期层倾向于放大扰动，而后期层则倾向于吸收扰动。通过结合这种理解，该方法增强了现有的剪枝技术，如OWL和AlphaPruning，在70%稀疏度下，跨不同模型家族，困惑度降低了7.13%，零样本准确率提高了1.02%。 AI

影响 通过改进剪枝技术来提高LLM效率，从而在更高的稀疏度水平下获得更好的性能。

排序理由 在arXiv上发表的学术论文，详细介绍了一种新的LLM剪枝方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• absorption-aware correction
• AlphaPruning
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• large language models
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →