continual learning
PulseAugur coverage of continual learning — every cluster mentioning continual learning across labs, papers, and developer communities, ranked by signal.
- 2026-05-15 research_milestone A new paper proposes a method for continual learning of domain-invariant representations. 来源
7 天有情绪数据
-
新框架加速软体机器人控制与适应
两篇新研究论文探讨了软体机器人控制方面的进展。第一篇论文介绍了一个持续学习框架，允许控制器适应机器人形态的变化，而无需从头开始重新训练。该方法已在模拟和现实世界的机械臂上得到验证。第二篇论文证明，使用隐式时间步进可以实现软体机器人的快速策略学习，与现有框架相比，显著加快了模拟时间，同时不牺牲准确性。
-
新的arXiv论文探讨贝叶斯和概率方法用于持续学习 · 跟踪2个来源
两篇新的arXiv论文探讨了持续学习的进展，这是一种允许AI模型顺序学习而不会忘记过去知识的方法。第一篇论文概述了持续学习的贝叶斯方法，讨论了它们与迁移学习和发展心理学等领域的联系。第二篇论文介绍了一个新颖的基于提示的框架，该框架将提示建模为概率分布，以捕获多样化的图像模式并防止提示崩溃，在ImageNet-R和CIFAR-100等基准测试中证明了其有效性。
-
新理论分析持续学习中的AI数据投毒
已开发出新的理论框架来分析持续学习（CL）中的数据投毒攻击和防御。研究人员将对手和防御者之间的交互构建为在线零和博弈，并确定了一个性能极限，即如果对手投毒了线性比例的任务，防御就会失败。该研究还探讨了不频繁攻击或有界噪声的情况，前者提出了一种任务到任务的验证机制，后者提出了一种鲁棒的防御机制，以最小化对投毒特征的敏感性。
-
新理论连接持续学习与机器遗忘
研究人员开发了一个理论框架来解决持续学习系统中的机器遗忘挑战。这个新的目标函数量化了保留过去知识与有效遗忘特定数据之间的权衡。该研究分析了基于梯度和基于Hessian的遗忘方法，发现基于梯度的方法存储开销最小，而基于Hessian的方法在最小化遗忘损失方面更有效。这促成了一个提出的混合策略，以平衡性能和存储成本，实验结果支持了理论发现。
-
LiteLoRA方法将持续学习中的适配器数量减少了20-70%
研究人员推出了一种名为LiteLoRA的新方法，该方法挑战了持续学习中每个新任务都需要单独的低秩适配器的假设。他们的工作表明，现有的适配器通常在其表示的子空间中存在重叠，这意味着早期的适配器可以有效地处理后续任务。LiteLoRA利用门控机制来学习何时重新使用现有适配器，从而在保持或提高标准持续学习基准性能的同时，将活动适配器的数量减少20-70%。
-
新AI研究探讨模块化在持续学习中的作用
两篇新研究论文探讨了模块化在持续学习中的作用，该领域专注于使AI系统能够在不忘记先前知识的情况下学习新信息。其中一篇论文《当模块化在持续学习中有益时，维度控制》研究了表示维度和任务相似性如何与模块化架构相互作用。研究发现，模块化在低维环境中至关重要，能够带来更有条理和可解释的学习，而在高维的“懒惰”模式下，其影响甚微。第二篇论文《位置：模块化记忆是持续学习智能体的关键》认为，通过模块化记忆将权重内学习与上下文内学习相结合，对于创建能够…
-
新研究详细介绍了针对物联网/信息物理系统持续学习系统的后门攻击
一篇新论文详细介绍了一种专门为物联网（IoT）和信息物理系统（CPS）中的持续学习系统设计的后门攻击。研究强调了持续适应虽然对这些系统有益，但也会产生漏洞，允许恶意行为被植入并保持休眠状态，直到被触发。该研究形式化了与物联网/信息物理系统环境相关的威胁模型，并分析了后门在这些管道中被放大的持久性，强调了在终身学习应用中加强安全措施的必要性。
-
新研究探究 AI 模型中的灾难性遗忘 · 追踪 4 个来源
三篇新研究论文探讨了持续学习系统中灾难性遗忘的现象，特别是在大型语言模型中。第一篇论文引入了一个受控框架来研究遗忘机制，提出表示强度和特征稀疏性起着关键作用，而不仅仅是叠加。第二篇和第三篇论文（似乎是相同的）在神经切线核（NTK）框架下提供了一个函数空间理论，提出遗忘是低秩的，并集中在特定的输出空间方向。第四篇论文对二十个最先进模型进行了机制分析，识别了脆弱的神经回路，并引入了一种名为低秩电路投影（LRCP）的新干预措施来减轻遗忘。
-
持续学习通过改变目标和价值观对大型语言模型构成安全风险
大型语言模型（LLM）中的持续学习（CL）带来了重大的安全和对齐挑战。它可能通过开发人员对泛化、价值系统化以及实例间模因传播的控制丧失等机制，允许在部署后更改LLM的核心目标和价值观。此外，CL通过消除最后行动者优势来削弱当前安全干预措施的有效性，使得部署前评估不太可靠，并可能影响控制协议。
-
新的 BI-BAU 方法旨在实现 AI 模型完全后门遗忘
研究人员提出了一种名为盲反演-后门对抗性遗忘 (BI-BAU) 的新方法，以解决当前 AI 模型中后门防御的局限性。该方法将后门遗忘视为持续学习中的一个顺序过程，旨在彻底消除恶意影响。BI-BAU 利用期望最大化算法解决盲反演问题，有效清除受损预训练模型中的后门，即使在非目标对抗场景和多模态任务中也是如此。
-
新的ReCAP框架使用持续学习实现自适应投资组合管理
研究人员开发了一个名为ReCAP的新投资组合管理框架，该框架利用持续学习来适应不断变化的市场条件。这种方法将市场数据划分为不同的制度，并为每种制度学习特定的交易策略。然后，一个门控机制根据当前的市场状态动态地组合这些策略，从而无需广泛的再训练即可实现快速适应。实验表明，ReCAP在长期投资和对市场变化的响应能力方面优于现有方法。
-
新方法增强多模态LLM的持续学习能力
研究人员正在开发新的多模态持续指令调优方法，以提高大型语言模型的效率和性能。一种名为CRAM的方法使用质心路由和自适应专家混合（MoE）来隔离特定任务的模式并有效分配参数，从而缓解灾难性遗忘。另一种方法ProtoAda采用原型引导的自适应调优，并结合了面向格式的任务原型来改进路由和参数整合。此外，一个名为PROXY-MIX的框架在一个小型代理模型上学习一个动态重放控制器，并将其转移到更大的模型上，以在持续调优过程中保留能力和对齐行为。
-
Trajectory 通过并发多 LoRA 栈实现更快的 AI 模型更新
Trajectory 开发了一个新的并发多 LoRA 训练栈，专为持续学习而设计，旨在取代传统的漫长模型更新周期。该平台通过将每个实验映射到共享的多租户引擎上的专用 LoRA 适配器，使模型能够从实时反馈和生产交互中学习。据报道，该系统通过优化 GPU 内存使用和跨作业的负载均衡，在实验吞吐量方面比单租户框架提高了 2.81 倍，且训练奖励没有回归。
-
AI研究：RL以原子技能为先决条件合成推理技能
一篇新的研究论文探讨了强化学习（RL）如何合成新的推理技能，而不仅仅是放大现有的技能。该研究侧重于“互补推理”，发现仅通过监督微调（SFT）训练的模型在记忆已知信息方面表现出色，但在泛化到新情境时失败。然而，RL显著提高了泛化能力，但前提是基础模型必须首先通过SFT掌握独立的原子技能。这表明，以原子技能训练为第一阶段，然后进行RL训练的两阶段方法，是开发AI复杂推理能力的有前途的途径。
-
新框架估算logit偏移以进行持续学习模型选择
研究人员开发了一个名为架构驱动转变（ADS）的新框架，用于在持续学习场景中高效估算logit偏移。该方法解决了传统logit偏移计算的计算成本问题，这种成本对于大规模模型选择来说是 prohibitive 的。ADS将logit偏移解耦为架构和数据依赖性，从而能够用更少的数据样本进行准确预测。对超过175个架构进行的广泛实验表明，ADS与logit偏移之间存在很强的相关性，证明了其作为可靠持续学习模型选择中预期校准误差的轻量级代理的实用性。
-
新的AI方法通过新颖的LoRA技术提升持续学习能力
两篇新的研究论文介绍了改进AI模型持续学习能力的新颖方法。E$^2$-LoRA 专注于在领先的秩中集中和排序知识，以释放未来任务的容量，并采用动态秩分配策略。Janus-LoRA 通过使用梯度校正来强制执行正交性以及解耦的边距损失来进行特征分离，从而解决稳定-塑性权衡问题，旨在防止灾难性遗忘并增强学习。
-
新的SoTU方法通过调优稀疏正交参数来增强持续学习
研究人员推出了一种新颖的持续学习方法SoTU，该方法解决了预训练模型中的灾难性遗忘问题。与使用额外适配器或提示的现有方法不同，SoTU专注于合并从多个任务中学到的参数的稀疏正交性。该技术将来自不同领域的知识转化为正交的delta参数，从而在没有复杂分类器设计的情况下，为流式数据提供最佳特征表示。
-
新研究利用新颖的专家混合方法解决大型语言模型的持续学习问题
两篇新研究论文提出了在大型语言模型和视觉-语言模型中进行持续学习的新颖方法，旨在减轻灾难性遗忘。CP-MoE引入了一个瞬时专家来指导更新和保留知识，而MoRAM则利用细粒度的秩-1适配器作为记忆单元来实现内容可寻址检索。与现有的专家混合技术相比，这两种方法在基准测试中都展示了改进的性能，提供了更好的可塑性和稳定性之间的权衡。
-
Shapley Neuron Values框架可应对AI模型遗忘问题
研究人员推出了一种名为 Shapley Neuron Values (SNV) 的新框架，用于持续学习。该框架利用合作博弈论来识别和保留神经网络中最重要的神经元。此方法旨在通过选择性地冻结关键神经元，同时允许其他神经元进行适应，从而防止灾难性遗忘，实现无需额外内存或架构扩展的学习。在 ImageNet-1k 上的实验表明，SNV 在无缓冲区持续学习技术方面表现显著优于现有方法，在类别增量和任务增量学习场景中均显示出显著的准确性提升。
-
新方法学习用于持续学习的域不变表示
研究人员开发了用于持续学习的新方法，重点在于学习域不变表示。这种方法旨在防止模型过拟合到特定的领域线索，从而提高对未见数据的泛化能力。所提出的技术结合了基于重放的训练和顺序不变性对齐，在各种基准测试上的表现优于现有的持续学习方法。这项工作通过专门解决域不变性问题，为持续学习做出了新颖的贡献。