研究人员开发了激活和影响感知秩（AIR），一个使用奇异值分解（SVD）压缩大型语言模型（LLM）的新框架。AIR整合了一个后向信号影响度量来指导权重矩阵的低秩近似，在保留60%参数的情况下，与SVD-LLM(W)相比，困惑度提高了18%以上。该方法还需要的校准数据减少了约90%，并将参数节省转化为FLOP、峰值内存和延迟的提升。 AI
影响 这项压缩技术可能导致LLM更高效的部署，降低计算成本和延迟。
排序理由 该集群描述了一篇详细介绍LLM压缩新方法的最新研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.19993v1 Announce Type: new Abstract: We present Activation- and Influence-Aware Ranks (AIR), an SVD-based LLM compression framework that guides each weight matrix's low-rank approximation with a backward-signal influence metric. Starting from the activation-aware optim…
We present Activation- and Influence-Aware Ranks (AIR), an SVD-based LLM compression framework that guides each weight matrix's low-rank approximation with a backward-signal influence metric. Starting from the activation-aware optimum of SVD-LLM(W), AIR runs a single closed-form …