新的SVD-Surgeon方法无需重新训练即可优化LLM压缩

研究人员开发了SVD-Surgeon，一种新颖的、无需训练即可使用奇异值分解（SVD）压缩大型语言模型（LLM）的方法。该技术直接优化奇异值，提供一种封闭形式的更新，以补偿移除的组件并识别要修剪的值。当应用于现有的SVD压缩器（如SVD-LLM）时，SVD-Surgeon在不重新训练的情况下，提高了OPT和LLaMA 2-7B等模型的困惑度-压缩权衡。 AI

影响 该方法可以通过减小大型语言模型的计算和内存占用，从而实现更高效的部署。

排序理由 该集群包含一篇详细介绍LLM压缩新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• Hugging Face
• LLaMA-2 7B
• Open Pre Trained Transformer
• Optimal Brain Surgeon: Extensions and performance comparisons
• singular value decomposition
• SVD LLM
• SVD-Surgeon

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →