实体 XMerge

XMerge

PulseAugur coverage of XMerge — every cluster mentioning XMerge across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_233464 · Sep 3 · 04:00

XMerge方法在无需微调的情况下压缩LLM深度

研究人员开发了XMerge，一种新颖的训练后方法，旨在压缩大型语言模型（LLM）的深度，而无需任务特定的标签或端到端微调。该技术识别对模型输出影响最小的Transformer层，并重建相邻层以保持性能。XMerge在各种Llama和Qwen模型上均取得了优于现有方法的成果，尤其是在积极移除层的情况下，在降低困惑度和保持校准方面表现更佳。