实体 REP-LIE

REP-LIE

PulseAugur coverage of REP-LIE — every cluster mentioning REP-LIE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_221145 · Aug 27 · 04:00

新的REP-LIE方法实现了Transformer模型的高效剪枝

研究人员开发了REP-LIE，一种用于Transformer模型高效剪枝的新颖方法。该方法使用LoRA低秩矩阵的梯度来估计权重的重要性，避免了计算完整梯度和预先微调的需要。REP-LIE包含一个用于迭代剪枝的稳定性得分，并使用轻量级更新进行微调，在LLaMA-7B和Mistral-7B等模型上表现出有竞争力。