Viktoriia Chekalina

新的GFWSVD方法通过分析参数相关性来改进LLM压缩

研究人员开发了一种名为广义Fisher加权SVD（GFWSVD）的新型技术，用于压缩大型语言模型（LLM）。该方法通过同时考虑Fisher信息矩阵的对角线和非对角线元素来改进现有的压缩方法，更准确地反映参数的重要性。GFWSVD利用了Kronecker因子近似算法的可扩展适应性，使其能够处理大型模型。在MMLU基准测试上的评估中，GFWSVD在20倍压缩率下比仅依赖对角线近似的方法提高了5个百分点，优于FWSVD。