实体 D-LLM

D-LLM

PulseAugur coverage of D-LLM — every cluster mentioning D-LLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_160842 · Jul 24 · 04:00

新框架无需完全重新训练即可稀疏化大语言模型

研究人员开发了一种自适应深度稀疏框架（AdaDSF），旨在无需进行大规模重新训练即可降低大语言模型的推理成本。该框架利用了 Transformer 架构中不同层的重要性差异，这些差异通过层输入和输出之间的相似性来识别。AdaDSF 为每层动态分配 token 保留比例，并使用轻量级路由器选择信息性 token，同时采用一种保留特征的对齐目标来确保表示的一致性。在 GPT-NeoX 和 Qwen2.5 等模型上的实验表明，与密集模型和其…