实体 RKU-GISP

RKU-GISP

PulseAugur coverage of RKU-GISP — every cluster mentioning RKU-GISP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_271194 · Sep 30 · 04:00

新的大语言模型剪枝技术旨在减小模型尺寸并提高效率

研究人员开发了用于剪枝大语言模型（LLMs）的新方法，以减小其尺寸和计算需求。一种方法，Global RKU-GISP，使用新颖的“全局相对动力学效用”指标来比较和选择LLM不同层之间的通道，在Qwen-2.5-7B上测试时，在各种稀疏度水平下模型性能均有显著提高。另一种方法，IrekoGPT，将预训练的LLM转化为“可瘦身”模型，可以在推理时调整其宽度，该方法基于SliceGPT，并在Llama和Qwen模型上展示了优于简单瘦身技术…