Dobi-SVD

新的LACE-SVD方法显著改进LLM压缩

研究人员开发了LACE-SVD，一个新颖的框架，通过解决现有低秩压缩方法的局限性来压缩大型语言模型（LLMs）。LACE-SVD通过考虑层级损失敏感性来优化秩预算分配，并实施累积误差校正机制来缓解误差传播。实验表明，在LLaMA-7B模型上，LACE-SVD的性能显著优于Dobi-SVD，在较高压缩比下，在WikiText-2数据集上实现了更低的困惑度。