研究人员推出了一种新颖的持续学习方法SoTU，该方法解决了预训练模型中的灾难性遗忘问题。与使用额外适配器或提示的现有方法不同，SoTU专注于合并从多个任务中学到的参数的稀疏正交性。该技术将来自不同领域的知识转化为正交的delta参数，从而在没有复杂分类器设计的情况下，为流式数据提供最佳特征表示。 AI
影响 引入了一种新颖的持续学习方法，可以提高模型的适应性并减少顺序任务学习中的知识损失。
排序理由 该集群包含一篇详细介绍持续学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →