continual learning
PulseAugur coverage of continual learning — every cluster mentioning continual learning across labs, papers, and developer communities, ranked by signal.
- developed Catastrophic interference 90%
- instance of Catastrophic interference 90%
- used by Low Rank Adaptation 90%
- instance of Gotit.pub 70%
- instance of Influence Flower 70%
- used by Catastrophic interference 70%
- instance of IArxiv Recommender 70%
- used by TinyImageNet 70%
- instance of Low Rank Adaptation 70%
- instance of IArxiv 70%
- other Catastrophic interference 60%
- instance of CatalyzeX Code Finder for Papers 60%
- 2026-05-15 research_milestone A new paper proposes a method for continual learning of domain-invariant representations. 来源
12 天有情绪数据
-
Google 推出用于 LLM 持续学习的“睡眠框架”
研究人员推出“睡眠框架”,这是一种旨在帮助大型语言模型(LLM)在持续学习过程中保留知识的新方法。该方法旨在解决灾难性遗忘的挑战,即模型在训练新数据时倾向于丢失先前获得的信息。“睡眠框架”允许 LLM 在不损害其现有知识库的情况下整合新信息。
-
持续学习模型中新发现“路由漂移”问题
研究人员在持续学习模型中发现了一种称为“路由漂移”的现象,其中样本被错误地路由到错误的任务块,导致在特定任务学习中准确率很高,但在全局类增量学习中表现不佳。这个问题因回放缓冲区小而加剧,这会掩盖问题。该研究提出了一种名为可靠性校准路由(RCR)的后验分类器,它结合了标准化对齐和径向合理性,以纠正类局部证据,从而在不重新训练模型的情况下提高全局路由准确性。
-
受章鱼启发的神经元可进行持续学习,性能优于梯度方法
研究人员开发了一种受章鱼中发现的单极神经元独特结构启发的创新网络模型。该模型采用一种称为再循环的基于奖励的方法进行训练,通过最小化连续任务中的遗忘来实现有效的持续学习。该网络利用“任务代码”来区分不同任务,并利用巩固机制来调整突触学习率,在 MNIST 和 Iris 数据集上性能优于传统的基于梯度的方法。
-
新的STABLE优化器解决了持续学习中的灾难性遗忘问题
研究人员开发了STABLE,一种新的对偶优化器,旨在解决持续学习中的灾难性遗忘问题。该优化器自适应地控制参数漂移,在不牺牲可塑性的情况下确保稳定性。实验表明,STABLE与PEFT基线结合使用时,在单模态和多模态任务上均能达到或超过现有的专业持续学习方法的性能,甚至在后者中保留了零样本迁移能力。
-
新框架连接长尾识别与持续学习
研究人员在长尾识别(LTR)和持续学习(CL)之间建立了理论和经验联系。他们证明了在不平衡数据集上训练会驱动模型参数趋向主导类解决方案。这种联系促成了一个名为“长尾识别持续学习”(CLTR)的框架的开发,该框架使用标准的CL方法顺序学习类别,同时防止灾难性遗忘。在各种基准测试上的实验表明,CLTR的有效性,即使在应用于具有DualPrompt的CLIP骨干网络时,也优于专用方法。
-
8B模型展示强大的持续学习能力,数日内保留新闻知识
一位研究人员为名为Apertus-8B的8B参数模型开发了一种持续学习方法,使其能够保留前几天新闻的信息。经过四天的学习,该模型在第一天的新闻上保持了90.7%的准确率,显著优于标准LoRA方法(下降至26.7%)。该模型在GSM8K基准测试上也表现强劲,初始分数仅略有下降,而LoRA方法则急剧下降。研究人员已公开了数据集和基准测试,并计划进行进一步测试。
-
新的 L2 正则化变体增强了线性网络中的持续学习能力
研究人员开发了一种新的加权 L2 正则化变体,旨在改进对角线性网络中的持续学习。该方法旨在保留 L2 正则化在单任务设置中促进的稀疏性偏差,而这种偏差在持续学习场景中通常会丢失。所提出的方法在适度的任务范围内,与标准的 L1 或 L2 正则化相比,在稀疏教师模型上显示出更快的收敛速度的理论和经验证据。
-
新的DRAP方法增强了物理AI中的持续学习能力
研究人员推出了一种名为DRAP(Dynamics-Risk Adaptive Plasticity,动态风险自适应可塑性)的新方法,旨在改进物理AI系统的持续学习能力。该方法通过根据轨迹放大风险自适应地降低关键模型组件的可塑性,来解决物理代理中策略错误随时间累积的挑战。DRAP旨在在不阻碍新任务学习的情况下增强先前学习行为的保留能力,并采用一种通过轨迹放大风险对梯度加权的回放策略。
-
人工智能研究聚焦于使模型能够有意地遗忘信息
研究人员正在探索使人工智能系统能够有意地遗忘信息的方法,这种能力可以增强隐私和安全性。这对于持续学习的人工智能模型尤其重要,因为它们即使在应被丢弃时也能保留敏感数据。目前正在研究知识蒸馏和弹性权重巩固等技术,以使人工智能能够在不影响整体性能的情况下选择性地擦除特定记忆。
-
新研究阐明了持续学习模型中的隐含假设
一篇新发表在arXiv上的论文探讨了持续学习中的隐含假设,该领域专注于模型如何随时间累积知识。研究强调,持续学习中的测量常常混淆与底层数据、数据被划分为任务的强制分区以及学习者本身相关的属性。通过区分这些层面,该研究表明改变数据分区的粒度、任务呈现的顺序以及数据的相似性结构,都可能导致不同的测量结果。该论文还回顾了现有基准,以评估这些属性的报告方式,并指出当底层数据未公开时,其属性会被模型的初始状态继承。
-
持续学习提升表面肌电信号手势识别准确率
研究人员探索了持续学习策略在循环神经网络表面肌电信号(sEMG)手势识别中的应用。他们在NinaPro DB1数据集上的评估显示,经验回放显著优于弹性权重巩固和朴素微调,在类别增量漂移下实现了83.3%的准确率,同时最大限度地减少了准确率损失。研究还发现,在打乱的、独立分窗的片段上训练模型对于稳定学习至关重要,因为时间顺序可能导致单一主导手势的预测。此外,结合手工制作的时域特征可以将每个任务的准确率提高高达40%,而经验回放是唯一能在…
-
新的CARES方法提高了持续学习的效率和准确性
研究人员开发了CARES,一种新的持续学习方法,可以在不重新训练模型的情况下提高过去样本缓冲区的质量。该方法利用冻结特征空间的几何形状和类别感知密度加权来更有效地构建缓冲区。CARES在各种数据流类型和设置中都表现出有竞争力的性能,在速度和准确性方面优于现有方法,尤其是在类别不平衡的情况下。
-
新的LLM记忆回放框架和调查推动持续学习
研究人员开发了一个名为兼容感知记忆回放(CAMR)的新框架,以改进大型语言模型的持续学习能力。CAMR使用兼容性检查和学习到的记忆门,自适应地管理哪些传入数据需要监督以及哪些历史数据需要重新访问。这种方法旨在提高知识获取和保留能力,同时避免过高的训练成本。一项调查还对LLM在其生命周期、存储基底和系统角色中的现有记忆机制进行了分类,为开发持久和自适应的LLM代理提供了路线图。
-
新的边缘-云方法增强了AI模型的适应性和知识保留能力
提出了一种面向边缘-云应用的在线持续学习新方法,旨在提高已部署机器学习模型的可靠性。该方法将持续学习与分布外检测和概念漂移检测相结合,使模型能够在不丢失先前获得的知识的情况下适应不断变化的数据流。该方法利用ODIN和ECDD来识别用于标注的信息性样本并触发模型更新,在汽车、医疗保健和农业数据集上均显示出有效性。
-
新的分数保持持续套索方法解决灾难性遗忘问题
研究人员开发了一种名为分数保持持续套索(SP-CL)的新方法,以解决高维稀疏线性回归持续学习中的灾难性遗忘问题。该方法通过保持历史平方损失分数来分离稀疏估计和状态传输,从而使累积估计器能够精确地恢复平方损失下的全历史Lasso最小化器。SP-CL还为相关的特定任务系数纳入了正则化当前任务校正,在特定条件下实现了离线源辅助率,并提供了分解来分析信息损失和专业化。
-
新的C3L方法解决了持续学习中的解释漂移问题 · 跟踪2个来源
研究人员开发了一种名为概念一致持续学习(C3L)的新方法,以解决持续学习模型中的“解释漂移”问题。这种漂移发生在模型保持准确性但将其注意力从相关特征转移到虚假关联时。C3L将正则化锚定到语义发现的概念上,这些概念独立于模型状态,从而防止模型强化不正确的注意力模式。该方法自动化了概念发现和空间定位,在准确性、解释质量和鲁棒性等多个基准测试中展示了最先进的性能。
-
新框架分析持续学习中的灾难性遗忘
研究人员开发了一个新的算法稳定性框架来分析持续学习中的灾难性遗忘。该框架将遗忘分解为任务内和跨任务泛化差距以及经验遗忘。它为各种学习率调度和累积梯度对齐提供了理论界限,深入探讨了迭代优化如何影响先前学习任务的性能下降。在 Split CIFAR-100 和 Split MiniImageNet 上的实验验证了理论发现。
-
新框架RobustNCL提升神经形态学习的可靠性
研究人员开发了RobustNCL,一个旨在增强神经形态持续学习(NCL)系统在瞬态故障下可靠性的新框架。NCL使用节能的事件驱动操作,但可能受到硬件故障的损害,尤其是在片外内存中。RobustNCL通过实施一种轻量级的检测与修复策略来解决这个问题,该策略监控并纠正从内存访问的异常权重数据。这种方法在即使在高故障率下也能保持高精度,性能下降极小,同时产生的延迟和能量开销可忽略不计。
-
新的持续学习分布外检测框架利用KAN
研究人员开发了一个新的持续学习分布外检测(OOD-CL)框架,该框架解决了在不遗忘的情况下学习顺序任务以及在无法访问过去数据的情况下识别未知样本的挑战。该方法受Kolmogorov-Arnold Networks(KAN)的启发,利用一种称为TA-KAN的任务自适应分类器来减轻近期偏差并提高数据可分离性。此外,还引入了一种几何引导的OOD分数,该分数在不需要过去分布内数据的情况下补充了分类器的置信度,从而在OOD-CL中取得了最先进的结果。
-
新的SAGA方法可减轻AI模型中的灾难性遗忘
研究人员开发了一种名为稀疏自编码器几何锚定(SAGA)的新方法,以应对AI模型持续学习中的灾难性遗忘问题。SAGA使用在任务边界训练的稀疏自编码器,在表示漂移上创建局部低秩约束,在适应新任务的同时保留先前学到的信息。该方法通过在CIFAR-100、CUB-200和ImageNet-R等多个基准测试中实现更高的类别增量准确性和减少遗忘,证明其性能优于现有方法。