实体 Activation-Prune-Merge

Activation-Prune-Merge

PulseAugur coverage of Activation-Prune-Merge — every cluster mentioning Activation-Prune-Merge across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_203928 · Aug 17 · 04:00

新框架实现跨模型规模的知识迁移

研究人员开发了一种名为 Activation-Prune-Merge (APM) 的新颖框架，通过从更大、架构不同的模型迁移知识来增强较小的语言模型。APM 根据任务条件激活图谱，从供体模型中识别并提取层、隐藏维度和注意力头等关键组件。然后，将提取的切片以小的插值系数注入到接收模型中，从而在无需精确结构对齐的情况下提高其能力。该方法在 16 个基准测试中显示出显著的准确性提升，包括在 RTE、QNLI 和 BoolQ 上的显著改进，表…

新框架实现跨模型规模的知识迁移