新的MIITA框架实现了小型语言模型的持续学习

研究人员开发了MIITA，一种用于小型语言模型（SLM）持续学习的新颖框架，旨在克服灾难性遗忘和资源限制的挑战。MIITA将过去的监督经验存储为紧凑的原型，这些原型在推理时通过语义和基于不确定性的线索进行检索。这种方法通过门控隐藏状态适应应用检索到的校正方向，从而实现非破坏性适应，而无需更改模型骨干或进行测试时反向传播。实验表明，MIITA在固定的内存预算内持续提高性能并减少遗忘。 AI

影响 使资源有限的实际应用中的小型语言模型更具适应性和效率。

排序理由 该集群包含一篇详细介绍小型语言模型持续学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• continual learning
• DagsHub
• Gotit.pub
• Hugging Face
• large-language models
• ScienceCast
• small language models

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →