新的GFWSVD方法通过分析参数相关性来改进LLM压缩

研究人员开发了一种名为广义Fisher加权SVD（GFWSVD）的新型技术，用于压缩大型语言模型（LLM）。该方法通过同时考虑Fisher信息矩阵的对角线和非对角线元素来改进现有的压缩方法，更准确地反映参数的重要性。GFWSVD利用了Kronecker因子近似算法的可扩展适应性，使其能够处理大型模型。在MMLU基准测试上的评估中，GFWSVD在20倍压缩率下比仅依赖对角线近似的方法提高了5个百分点，优于FWSVD。 AI

影响 这项研究可能通过减小大型语言模型的规模和计算需求，从而实现更高效的部署。

排序理由 该集群包含一篇详细介绍LLM压缩新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Fisher information
• FWSVD
• Generalized Fisher-Weighted SVD
• Kronecker factored approximation
• Massive Multitask Language Understanding
• SVD LLM
• Viktoriia Chekalina

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →