实体
Pre-trained models
Pre-trained models
PulseAugur coverage of Pre-trained models — every cluster mentioning Pre-trained models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新研究将持续学习的范畴从遗忘和可塑性扩展 · 追踪5个来源
近期研究探索了持续学习的新方面，超越了灾难性遗忘和可塑性丧失等传统挑战。一篇论文引入了“数据共观测”作为一个独立因素，证明了训练数据的同步观测能够带来超越单纯知识保留的泛化优势。另一种方法，Harness Continual Learning (HCL)，提出通过核心模型之外的组件（如提示和记忆）来调整智能体，以提高性能并保留早期行为。进一步的研究调查了“表示流”（representation flux），这是一种衡量样本级表示在学习…
-
新方法解决增量学习中的知识遗忘问题
研究人员提出了一种名为“非遗忘分配与双层竞争”（NoFA-BC）的新方法，以增强具有预训练模型的类别增量学习（CIL）。该方法通过开发一种将分配器训练视为递归最小二乘问题的非遗忘分配器（NFA）来解决顺序学习中的知识遗忘问题。NoFA-BC还结合了双层竞争机制，包括任务内“赢家通吃”和任务间“后者居上”，以根据输入相关性优化适配器知识的分配。此外，还包含了一个稳定性增强过程，以提高在先前学习任务上的性能。
-
新的SoTU方法通过调优稀疏正交参数来增强持续学习
研究人员推出了一种新颖的持续学习方法SoTU，该方法解决了预训练模型中的灾难性遗忘问题。与使用额外适配器或提示的现有方法不同，SoTU专注于合并从多个任务中学到的参数的稀疏正交性。该技术将来自不同领域的知识转化为正交的delta参数，从而在没有复杂分类器设计的情况下，为流式数据提供最佳特征表示。