continual learning
PulseAugur coverage of continual learning — every cluster mentioning continual learning across labs, papers, and developer communities, ranked by signal.
- instance of Catastrophic interference 90%
- used by Low Rank Adaptation 90%
- instance of Low Rank Adaptation 70%
- other Catastrophic interference 70%
- instance of IArxiv 70%
- instance of CatalyzeX Code Finder for Papers 60%
- instance of TinyImageNet 60%
- authored by Gotit.pub 50%
- other CatalyzeX Code Finder for Papers 50%
- authored by CatalyzeX Code Finder for Papers 50%
- 2026-05-15 research_milestone A new paper proposes a method for continual learning of domain-invariant representations. 来源
5 天有情绪数据
-
新研究提出世界模型的分层保留方法
一篇新的研究论文提出了一种名为“差异保留”的方法，用于机器学习中的世界模型。与将遗忘视为失败的传统持续学习不同，这种方法承认世界模型必须适应不断变化的环境。该论文主张根据不变性时间尺度对知识保留进行分层，区分永不应修改的物理学等基本原理和应更新的实例级事实。该方法旨在通过评估世界模型修正过时信息同时保留核心不变性的能力来更好地评估它们，解决了当前指标偏向冻结模型的局限性。
-
新研究解决了持续学习模型中的灾难性遗忘问题 · 跟踪了 8 个来源
多篇研究论文探讨了神经网络中持续学习的复杂动态，重点关注模型如何随时间保留或遗忘信息。研究调查了缓解灾难性遗忘的方法，例如固定矩阵状态、可修改内存和服务器端重放机制。研究人员正在开发理论框架和实用技术，以平衡对新任务的适应与保留先前获得的知识，旨在实现更强大、更高效的学习系统。
-
机器人框架应对地形适应与灾难性遗忘
研究人员开发了一种新的机器人可通行性预测持续学习框架。该框架旨在帮助机器人在不遗忘先前学习环境的情况下适应新地形，这是众所周知的灾难性遗忘问题。该系统利用了一个包含不确定性感知的生成式经验回溯模型，从而实现更有效的自适应。通过对转向式机器人进行的实验表明，该框架在导航各种地形的同时保留先前经验知识方面取得了成功。
-
新的持续学习方法应对AI模型中的灾难性遗忘 · 跟踪4个来源
研究人员正在开发新的方法来应对持续学习中的灾难性遗忘问题，即AI模型在学习新任务时会丢失先前获得的知识。一种名为Multiple Embedding Replay Selection (MERS) 的方法，集成了监督和自监督嵌入，以改进回放缓冲区（replay buffer）的样本选择，在低内存场景下显示出优势。另一种方法CLARE利用基于稀疏性的框架来识别关键的微调参数，提高了可扩展性并减少了任务间的干扰。此外，一种名为DR.WIL…
-
新框架应对持续学习中的后门攻击
研究人员引入了一个新的持续学习框架，以应对顺序到达任务中后门攻击的挑战。该框架集成了样本净化、选择性恢复和鲁棒专家路由，以减轻灾难性遗忘，保持适应性，并防止恶意监督的吸收。提出的方法包括用于识别可疑样本的双原型净化（BPP），用于选择性恢复和伪标签校正的梯度差异鲁棒性优化（GDBRO），以及用于可靠专家路由的鲁棒特征一致性专家选择（RFCBES）。
-
AI持续学习方法应对灾难性遗忘
研究人员正在探索AI持续学习的先进方法，旨在防止模型在处理新信息时发生灾难性遗忘。一种方法，“稳态持续学习”，侧重于识别环境异常值以完善AI代理的模型和策略。另一项研究表明，组合多种持续学习机制，如数据、函数和权重锚点，结合合并的低秩更新，可以显著增强语言模型在长时记忆方面的能力，将记忆保留率提高了28倍。
-
Muon优化器解决持续学习和模型合并中的任务干扰问题
研究人员提出了一个关于持续学习和模型合并的新视角，将两者都视为“任务干扰”的实例。这种干扰由层状Frobenius内积量化，并受基础优化器影响。该研究将参数更新的谱范数确定为一个可由优化器控制的关键因素，而Muon优化器则展示了调节该因素的能力。实验表明，用Muon替换AdamW可以在模型合并基准测试中显著提高准确性，并在持续学习场景中带来一致的收益。
-
Geo-LoRA框架通过几何感知子空间演化增强持续学习能力
研究人员开发了Geo-LoRA，一个新颖的几何感知框架，旨在改进使用LoRA适配器的持续学习。该方法显式地调节共享和任务特定低秩子空间的演化，以防止表示不稳定和子空间拥挤。Geo-LoRA采用了子空间投影保持和自适应核心-松弛对齐等技术用于共享子空间，以及中位数校准块重叠用于任务特定子空间。该框架在各种基准测试中始终如一地实现最先进的性能，而无需额外的适配器类型。
-
Thomson AI模型使用持续学习实现前沿能力
一篇新研究论文介绍了Thomson，一个使用开放权重模型上的持续学习技术开发的前沿AI模型。这种方法旨在使高性能AI能力能够被更广泛的机构所使用，而不仅仅是资金雄厚的组织。Thomson在各种专业任务中表现出竞争力，包括代理工作、法律和研究，同时缓解了适应过程中知识遗忘的常见问题。
-
新研究探索人工智能模型持续学习的先进技术 · 追踪8个来源
研究人员正在开发持续学习的新方法，旨在使人工智能模型能够在不忘记先前获得的知识的情况下学习新信息。一种方法，“具有自组织映射和合成重放的类增量持续学习”，利用自组织映射（SOMs）和合成数据生成在CIFAR-10和CIFAR-100等基准测试中取得有竞争力的性能。另一篇论文，“具有增长自组织映射和合成重放的无监督持续学习”，通过无监督方式使用增长SOMs（GSOMs）扩展了这一点，即使与监督方法相比也显示出强大的结果。此外，还提出了一…
-
新的CKAA框架提升持续学习模型鲁棒性
研究人员推出CKAA，一个旨在提高持续学习模型在面对误导性任务识别时的鲁棒性的新框架。该框架包含双层知识对齐（DKA）以更好地区分正确和错误特征子空间，以及任务置信度引导的适配器混合（TC-MoA）用于推理过程中任务特定知识的自适应聚合。实验表明，CKAA在持续学习的参数高效微调方法上优于现有方法。
-
新研究将持续学习的范畴从遗忘和可塑性扩展 · 追踪5个来源
近期研究探索了持续学习的新方面，超越了灾难性遗忘和可塑性丧失等传统挑战。一篇论文引入了“数据共观测”作为一个独立因素，证明了训练数据的同步观测能够带来超越单纯知识保留的泛化优势。另一种方法，Harness Continual Learning (HCL)，提出通过核心模型之外的组件（如提示和记忆）来调整智能体，以提高性能并保留早期行为。进一步的研究调查了“表示流”（representation flux），这是一种衡量样本级表示在学习…
-
AI模型在妇科图像分割中的遗忘问题得到分析
一篇新的研究论文分析了用于妇科图像分割的AI模型中的遗忘现象。研究发现，性能下降和灾难性遗忘很大程度上受到持续学习过程中编码器-解码器架构哪些部分被更新的影响。具体来说，更新较早的编码器层和较晚的解码器层会导致最显著的性能下降，而将更新限制在瓶颈邻近区域则有助于保留知识。
-
新框架应对双曲多模态持续学习挑战
研究人员开发了一个新的双曲多模态持续学习框架，解决了保持基本几何结构以及防止语义关系漂移和层级相关失真的挑战。所提出的方法利用双曲几何来自然地捕捉不同模态之间的层级语义结构。通过确保在共享双曲等距下的跨模态不变性，该方法旨在保持关系结构和层级几何，从而在持续多模态基准的实验中证明了其有效适应新任务的能力。
-
新的DARAD框架增强了持续遥感图像-文本检索能力
研究人员开发了DARAD，一个旨在改进持续遥感图像-文本检索的新框架。该方法解决了不断变化的数据库带来的挑战，例如尺度变化和分布偏移，这些问题可能扭曲跨模态对齐空间。DARAD利用视觉和文本分支的双适配器，以及感知排名的蒸馏过程，以在保留历史数据准确性的同时有效学习新概念。
-
SphereVideo框架通过持续学习改进AI生成视频检测
研究人员推出SphereVideo，一个旨在改进AI生成视频检测的新持续学习框架。该系统将真实视频特征锚定在超球面上的中心原型周围，排斥生成内容以建立一个抵抗灾难性遗忘的稳定决策边界。SphereVideo还通过在帧和剪辑层面分析动态来增强时间建模，超越了对空间伪影的依赖。实验表明，SphereVideo在区分真实内容和AI生成内容方面优于先前的方法，尤其是在未见过的生成模型上。
-
新框架统一了边缘设备的设备端学习
研究人员开发了一个名为嵌入式中心学习（ECL）的新框架，该框架统一了四种不同的设备端学习场景：少样本学习（FSL）、持续学习（CL）、零样本学习（ZSL）和上下文内学习（ICL）。该框架允许资源受限的边缘设备在不依赖云端处理的情况下适应和个性化预测，解决了能耗、延迟和隐私问题。在硅片上的演示表明，ECL在FSL字符识别方面取得了最先进的性能，并为关键词识别中的CL建立了硬件基线，同时在微瓦到毫瓦功耗预算内完成了ZSL和ICL的硬件演示。
-
新的MIITA框架实现了小型语言模型的持续学习
研究人员开发了MIITA，一种用于小型语言模型（SLM）持续学习的新颖框架，旨在克服灾难性遗忘和资源限制的挑战。MIITA将过去的监督经验存储为紧凑的原型，这些原型在推理时通过语义和基于不确定性的线索进行检索。这种方法通过门控隐藏状态适应应用检索到的校正方向，从而实现非破坏性适应，而无需更改模型骨干或进行测试时反向传播。实验表明，MIITA在固定的内存预算内持续提高性能并减少遗忘。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题，即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术，包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并，以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
新的SUM框架解决了联邦类增量学习的挑战
研究人员推出了一种新颖的服务器端框架SUM，旨在解决联邦类增量学习（FCIL）的挑战。该方法通过将客户端和任务更新视为共享参数空间中的自适应向量来解决时空灾难性遗忘（ST-CF）问题。SUM在聚合过程中对这些向量进行几何手术，以减轻干扰，而不会增加客户端的计算或内存需求。实证结果表明，SUM在各种基准测试中比现有的FCIL方法取得了显著的改进。