研究人员引入了一个名为长时记忆的新场景，用于研究语言模型如何在延长时间和多次更新后保留信息。现有的持续学习机制在此挑战面前表现不佳，导致显著的遗忘。该研究提出组合互补机制，如数据、函数和权重锚点，以及LoRA+等低秩分配规则，以保留先验信息并管理后续更新。这种组合方法在保留率方面显示出显著的改进，在三个不同的数据集上的平均保留率从1.2%提高到34.9%。 AI
影响 提出了一种改进语言模型长期记忆保留的新方法，这对于需要持续学习的应用至关重要。
排序理由 学术论文，介绍了新的研究场景并提出了语言模型持续学习的方法。[lever_c_demoted from research: ic=1 ai=1.0]
- catastrophic forgetting
- continual learning mechanism
- continual supervised fine-tuning
- Data anchors
- Function anchors
- Language Models
- long-horizon memorization
- LoRA+
- Low-rank allocation rules
- sequential fine-tuning
- Weight anchors
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
