Catastrophic interference
PulseAugur coverage of Catastrophic interference — every cluster mentioning Catastrophic interference across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新研究提出受星形胶质细胞启发的算法以增强机器学习
一篇新研究论文提出了一种受星形胶质细胞启发的生物计算方法。星形胶质细胞是一类不发射电信号但对学习和记忆等认知功能起着至关重要作用的脑细胞。该论文介绍了基于星形胶质细胞同时调节数千个突触的能力及其非电信号通信的算法,这可能带来更快的训练速度、提高对噪声的鲁棒性以及防止机器学习模型中的灾难性遗忘。据报道,这些源自星形胶质细胞的算法优于传统的以神经元为中心的算法,并解决了当前机器学习模型中的关键弱点。
-
新的STABLE优化器解决了持续学习中的灾难性遗忘问题
研究人员开发了STABLE,一种新的对偶优化器,旨在解决持续学习中的灾难性遗忘问题。该优化器自适应地控制参数漂移,在不牺牲可塑性的情况下确保稳定性。实验表明,STABLE与PEFT基线结合使用时,在单模态和多模态任务上均能达到或超过现有的专业持续学习方法的性能,甚至在后者中保留了零样本迁移能力。
-
新的ROSE框架增强了多模态大语言模型中的终身知识编辑能力
研究人员推出ROSE,一个旨在改进多模态大语言模型(MLLMs)中终身知识编辑能力的新型框架。该方法通过将参数更新限制在正交子空间内,并采用具有动态风险掩码的风险引导机制,来缓解灾难性遗忘和局部性侵蚀。实验表明,ROSE在多个指标上与最先进的方法具有竞争力,并在1000次连续更新中表现出卓越的稳定性。
-
人工智能研究聚焦于使模型能够有意地遗忘信息
研究人员正在探索使人工智能系统能够有意地遗忘信息的方法,这种能力可以增强隐私和安全性。这对于持续学习的人工智能模型尤其重要,因为它们即使在应被丢弃时也能保留敏感数据。目前正在研究知识蒸馏和弹性权重巩固等技术,以使人工智能能够在不影响整体性能的情况下选择性地擦除特定记忆。
-
新的遗传编程方法实现作业车间调度的终身学习
研究人员开发了一种新颖的代理辅助遗传编程方法,以实现动态柔性作业车间调度(DFJSS)的终身学习。该方法旨在克服传统遗传编程的局限性,传统遗传编程在适应新任务或变化的作业特征时,常常会发生灾难性遗忘。所提出的框架平衡了可塑性和稳定性,根据任务相似性调节知识重用,并使用改进的具有距离约束的代理模型以获得更好的准确性。实验表明,该方法在保持适应性的同时有效减少了知识损失,在动态调度场景中优于现有技术。
-
新的边缘-云方法增强了AI模型的适应性和知识保留能力
提出了一种面向边缘-云应用的在线持续学习新方法,旨在提高已部署机器学习模型的可靠性。该方法将持续学习与分布外检测和概念漂移检测相结合,使模型能够在不丢失先前获得的知识的情况下适应不断变化的数据流。该方法利用ODIN和ECDD来识别用于标注的信息性样本并触发模型更新,在汽车、医疗保健和农业数据集上均显示出有效性。
-
新的SAGA方法可减轻AI模型中的灾难性遗忘
研究人员开发了一种名为稀疏自编码器几何锚定(SAGA)的新方法,以应对AI模型持续学习中的灾难性遗忘问题。SAGA使用在任务边界训练的稀疏自编码器,在表示漂移上创建局部低秩约束,在适应新任务的同时保留先前学到的信息。该方法通过在CIFAR-100、CUB-200和ImageNet-R等多个基准测试中实现更高的类别增量准确性和减少遗忘,证明其性能优于现有方法。
-
新研究通过新颖的调优和正则化方法解决大型语言模型中的灾难性遗忘问题 · 追踪 6 个来源
研究人员正在探索新方法来解决持续学习过程中大型语言模型(LLMs)中的灾难性遗忘问题。一种方法是子空间调优(SST),它将权重更新限制在特定子空间内,以在获得新技能的同时保留现有知识。另一个框架 SPARS 结合了参数隔离和局部正则化,将参数划分为具有不同适应策略的区域。此外,一项关于高维设置中持续线性回归的研究推导出了梯度下降的最优步长,以最小化泛化损失,并显示出与最优调优的 L2 正则化等效。对于多模态模型,UniDecouple…
-
新框架利用超网络解决大语言模型遗忘问题
研究人员开发了一个新的大语言模型(LLM)持续学习框架,该框架利用超网络生成适配器。这种方法旨在通过允许冻结的基础模型适应新数据而无需直接更新参数来减轻灾难性遗忘。研究发现,当面对冲突的知识时,模型倾向于优先处理上下文中呈现的信息,而选择受呈现顺序而非内容本身的影响更大。此外,研究表明,当前模型在多跳推理任务中难以可靠地组合来自不同来源的知识,特别是在超网络、基础模型和上下文之间的交互方面。
-
新的SNN方法减少了持续学习的内存使用
研究人员开发了一种名为显著性引导重放(Saliency-Guided Replay, SAM-guided EPR)的新方法,以解决深度脉冲神经网络(SNNs)中的灾难性遗忘问题。该方法将经验打包与重放(EPR)与通过时间批归一化稳定的VGG9 SNN和脉冲激活图(Spike Activation Maps)相结合。通过利用脉冲活动生成空间注意力图,该框架选择最具信息量的图像块进行重放,在保持Split CIFAR10和Split C…
-
新研究将LLM中的灾难性遗忘定位到输出嵌入
研究人员发现,大型语言模型中的灾难性遗忘(模型在持续训练中会丢失先前学到的信息)存在于新训练数据中未出现的token的输出嵌入中。这种遗忘是由Adam的二阶矩归一化所放大的持续的、单向的softmax梯度驱动的。为解决此问题,提出的解决方案包括在训练期间增加Adam的epsilon值,特别是针对输出投影层。这一调整在不影响新学习或需要模型特定调优的情况下,显著减少了各种模型大小和系列的遗忘,并补充了现有的基于重放的方法。
-
新的持续学习方法应对AI模型中的灾难性遗忘 · 跟踪4个来源
研究人员正在开发新的方法来应对持续学习中的灾难性遗忘问题,即AI模型在学习新任务时会丢失先前获得的知识。一种名为Multiple Embedding Replay Selection (MERS) 的方法,集成了监督和自监督嵌入,以改进回放缓冲区(replay buffer)的样本选择,在低内存场景下显示出优势。另一种方法CLARE利用基于稀疏性的框架来识别关键的微调参数,提高了可扩展性并减少了任务间的干扰。此外,一种名为DR.WIL…
-
新研究探讨组合持续学习机制以实现语言模型的长时记忆
研究人员引入了一个名为长时记忆的新场景,用于研究语言模型如何在延长时间和多次更新后保留信息。现有的持续学习机制在此挑战面前表现不佳,导致显著的遗忘。该研究提出组合互补机制,如数据、函数和权重锚点,以及LoRA+等低秩分配规则,以保留先验信息并管理后续更新。这种组合方法在保留率方面显示出显著的改进,在三个不同的数据集上的平均保留率从1.2%提高到34.9%。
-
受果蝇启发的人工智能学习不忘;数学家思考人工智能的影响
研究人员开发了一种受果蝇启发的算法,该算法利用稀疏编码实现快速学习而不会发生灾难性遗忘。此外,在2026年于费城举行的国际数学家大会上的一次讨论,探讨了在人工智能时代数学的作用和价值。
-
新的CPR方法用于LLMs,以对抗领域适应中的灾难性遗忘
研究人员开发了一种名为关键点路由(CPR)的新方法,用于解决大型语言模型(LLMs)在领域适应过程中出现的灾难性遗忘问题。CPR通过仅在必要时选择性地调用微调的专家模型来解耦通用能力和领域特定能力,其判断依据是基础模型表现不佳的关键标记。该方法旨在在提高LLM在特定领域的性能的同时,保持其通用知识,并以最小的开销取得了最先进的结果。
-
AI模型通过新的学习框架推动超声分割发展
研究人员开发了用于医学图像分割的新型多任务学习框架,重点关注乳腺和甲状腺超声数据。第一种方法利用符合BI-RADS的形态学先验,通过将病灶特征整合到学习过程中,改进了分割和恶性肿瘤分类。第二个框架UCBound-Net通过利用不确定性引导的边界蒸馏来解决持续学习的挑战,以减轻模型适应新解剖学领域时灾难性遗忘的问题。
-
新研究解决人工智能模型的灾难性遗忘问题 · 已追踪 7 个来源
研究人员正在开发新颖的方法来解决持续学习中的灾难性遗忘问题,即人工智能模型在学习新任务时会丢失先前获得的知识。最近几篇 arXiv 论文提出了不同的方法,包括规范化多模态学习中的模态贡献漂移、采用参数高效门控适应以及利用无梯度进化算法。其他方法则侧重于具有无梯度路由的紧凑型潜在空间适配器,以及在零空间中优化状态空间模型以在顺序任务中保留知识。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题,即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术,包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并,以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
新的CDML方法增强了持续步态识别中的隐私和准确性
研究人员开发了代码分集调制层(CDML)来应对生物识别系统(特别是步态识别)中持续学习的挑战。这种新方法旨在保持高准确性的同时,防御成员推断攻击,这是在逐步更新模型的系统中常见的隐私问题。通过采用CDML,系统可以在无需数据重传的情况下整合新知识,从而最大限度地降低计算成本并减轻灾难性遗忘。
-
LiMoDE 提出新颖的两阶段学习方法以实现机器人终身操控
研究人员提出了 LiMoDE,一种旨在提高机器人终身操控能力的新颖两阶段学习方案。该方法在预训练期间利用动态专家混合(MoE)结构来获取先验知识,根据不同短期任务的运动信息激活不同的专家。在适应阶段,采用终身 MoE 适应机制来学习新专家并将其与现有专家结合,从而促进知识转移并减轻灾难性遗忘。在模拟和真实世界任务上的实验表明,LiMoDE 在可训练参数和推理开销适度增加的情况下,能有效增强终身适应性和性能。