实体 SHIFT-LLM

SHIFT-LLM

PulseAugur coverage of SHIFT-LLM — every cluster mentioning SHIFT-LLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_221279 · Aug 27 · 04:00

SHIFT-LLM 框架校正大模型深度剪枝，显著恢复准确率

研究人员开发了 SHIFT-LLM，一个新颖的框架，旨在校正经过深度剪枝的大语言模型中发生的准确率损失。该方法在剪枝位置插入轻量级线性残差适配器 (LRAs)，在无需梯度计算的情况下近似移除模块的隐藏状态。SHIFT-LLM 已证明能够显著恢复准确率，在 Llama 3.1 8B-Instruct 上准确率提升高达 15.7 个百分点，仅使用了几百个校准样本。