PulseAugur
中
实时 17:23:18

新的AIR框架使用SVD压缩LLM，效率更高

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了激活和影响感知秩（AIR），一个使用奇异值分解（SVD）压缩大型语言模型（LLM）的新框架。AIR整合了一个后向信号影响度量来指导权重矩阵的低秩近似，在保留60%参数的情况下，与SVD-LLM(W)相比，困惑度提高了18%以上。该方法还需要的校准数据减少了约90%，并将参数节省转化为FLOP、峰值内存和延迟的提升。 AI

影响 这项压缩技术可能导致LLM更高效的部署，降低计算成本和延迟。

排序理由 该集群描述了一篇详细介绍LLM压缩新方法的最新研究论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的AIR框架使用SVD压缩LLM，效率更高

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek ·

    激活和影响感知排名 (AIR)：LLM 的功能保留 SVD 压缩

    arXiv:2606.19993v1 Announce Type: new Abstract: We present Activation- and Influence-Aware Ranks (AIR), an SVD-based LLM compression framework that guides each weight matrix's low-rank approximation with a backward-signal influence metric. Starting from the activation-aware optim…

  2. arXiv cs.LG TIER_1 English(EN) · Wojciech Samek ·

    激活与影响感知排名 (AIR)：LLM 的功能保持 SVD 压缩

    We present Activation- and Influence-Aware Ranks (AIR), an SVD-based LLM compression framework that guides each weight matrix's low-rank approximation with a backward-signal influence metric. Starting from the activation-aware optimum of SVD-LLM(W), AIR runs a single closed-form …

相关实体

相关话题