研究人员开发了一个名为 Function-isolated Memory-Efficient Optimization (CiMEO) 的新框架，以解决大型语言模型 (LLM) 在持续学习过程中出现的灾难性遗忘问题。通过使用梯度归因分析来识别和隔离 LLM 内功能专业化的子网络，CiMEO 将参数更新限制在每个训练示例的特定区域。该方法在包括编程、考试和数学推理在内的五个生成式基准测试中表现出色，同时有效缓解了先前知识的丢失。 AI
影响 这项研究提供了一种新颖的方法来提高 LLM 在持续学习场景中的稳定性和效率，有望降低再培训成本并增强适应性。
排序理由 该集群包含一篇关于 LLM 持续学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
