研究人员开发了一种名为混合邻居归纳记忆（MoNIM）的新方法来增强半参数语言模型。该方法重新构想了kNN-LM等模型中的非参数记忆，并将其更有效地集成到Transformer架构中。MoNIM充当一个可学习的旁路层，使模型能够学习新知识并提高其可扩展性和持续学习能力。 AI
影响 这项研究可能带来更具可扩展性和效率的能够持续学习的语言模型。
排序理由 该集群包含一篇详细介绍语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Guangyue Peng
- Hugging Face
- kNN-LM
- Mixture-of-Neighbors Induction Memory
- Semiparametric language models
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
