实体
Pre-trained models
Pre-trained models
PulseAugur coverage of Pre-trained models — every cluster mentioning Pre-trained models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法解决增量学习中的知识遗忘问题
研究人员提出了一种名为“非遗忘分配与双层竞争”（NoFA-BC）的新方法，以增强具有预训练模型的类别增量学习（CIL）。该方法通过开发一种将分配器训练视为递归最小二乘问题的非遗忘分配器（NFA）来解决顺序学习中的知识遗忘问题。NoFA-BC还结合了双层竞争机制，包括任务内“赢家通吃”和任务间“后者居上”，以根据输入相关性优化适配器知识的分配。此外，还包含了一个稳定性增强过程，以提高在先前学习任务上的性能。
-
新的SoTU方法通过调优稀疏正交参数来增强持续学习
研究人员推出了一种新颖的持续学习方法SoTU，该方法解决了预训练模型中的灾难性遗忘问题。与使用额外适配器或提示的现有方法不同，SoTU专注于合并从多个任务中学到的参数的稀疏正交性。该技术将来自不同领域的知识转化为正交的delta参数，从而在没有复杂分类器设计的情况下，为流式数据提供最佳特征表示。