实体 Songtao Liu

Songtao Liu

PulseAugur coverage of Songtao Liu — every cluster mentioning Songtao Liu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_193749 · Aug 11 · 04:00

新的大语言模型剪枝方法提升效率和生成性能

研究人员开发了一种新颖的方法，用于剪枝大语言模型高层的注意力头以提高效率。该技术引入了一个自适应重缩放参数，以在剪枝后维持表示尺度，抵消潜在的幅度变化。在 LLaMA3.1-8B、Mistral-7B-v0.3、Qwen2-7B 和 Gemma2-9B 等模型上进行的各种任务实验表明，与现有的结构化剪枝方法相比，该方法在生成任务上表现更优。