研究人员开发了一种名为 Activation-Prune-Merge (APM) 的新颖框架，通过从更大、架构不同的模型迁移知识来增强较小的语言模型。APM 根据任务条件激活图谱，从供体模型中识别并提取层、隐藏维度和注意力头等关键组件。然后，将提取的切片以小的插值系数注入到接收模型中，从而在无需精确结构对齐的情况下提高其能力。该方法在 16 个基准测试中显示出显著的准确性提升，包括在 RTE、QNLI 和 BoolQ 上的显著改进，表明集中且精心挑选的供体贡献可以促进有效的跨尺度知识迁移。 AI
影响 这项研究可以通过利用现有的更大语言模型，从而实现更高效的、功能强大的小型语言模型的开发。
排序理由 该集群包含一篇研究论文，详细介绍了一种在语言模型之间进行知识迁移的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
