PulseAugur
中
实时 18:38:36
实体 Activation- and Influence-Aware Ranks (AIR)

Activation- and Influence-Aware Ranks (AIR)

PulseAugur coverage of Activation- and Influence-Aware Ranks (AIR) — every cluster mentioning Activation- and Influence-Aware Ranks (AIR) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_99695 ·

    新的AIR框架使用SVD压缩LLM，效率更高

    研究人员开发了激活和影响感知秩（AIR），一个使用奇异值分解（SVD）压缩大型语言模型（LLM）的新框架。AIR整合了一个后向信号影响度量来指导权重矩阵的低秩近似，在保留60%参数的情况下，与SVD-LLM(W)相比，困惑度提高了18%以上。该方法还需要的校准数据减少了约90%，并将参数节省转化为FLOP、峰值内存和延迟的提升。