实体
REP-LIE
REP-LIE
PulseAugur coverage of REP-LIE — every cluster mentioning REP-LIE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的REP-LIE方法实现了Transformer模型的高效剪枝
研究人员开发了REP-LIE,一种用于Transformer模型高效剪枝的新颖方法。该方法使用LoRA低秩矩阵的梯度来估计权重的重要性,避免了计算完整梯度和预先微调的需要。REP-LIE包含一个用于迭代剪枝的稳定性得分,并使用轻量级更新进行微调,在LLaMA-7B和Mistral-7B等模型上表现出有竞争力。
-
新的REP-LIE方法实现了Transformer模型资源高效剪枝
研究人员开发了REP-LIE,一种在微调过程中高效剪枝Transformer模型的新方法。该方法使用LoRA低秩矩阵的梯度来估计权重重要性,避免了计算完整梯度和预先微调的需要。引入了稳定性分数来管理估计的随机性,从而可以迭代地剪枝不太重要的参数。在LLaMA-7B和Mistral-7B等模型上的实验表明,REP-LIE在显著降低资源消耗的同时,实现了具有竞争力的性能。