Elastic weight consolidation
PulseAugur coverage of Elastic weight consolidation — every cluster mentioning Elastic weight consolidation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现，持续学习正则化可能会阻碍金融ASR的性能
一篇新的研究论文调查了持续学习正则化技术（特别是弹性权重巩固（EWC）和mini-KFAC）在用于转录金融财报电话会议的自动语音识别（ASR）系统上的有效性。研究发现，将Whisper-small等通用领域ASR模型适配到Earnings22基准上，可以在新的金融语音数据上提高性能，而不是发生灾难性遗忘。这表明在这种特定场景下，任务互补性可能会使正则化适得其反。然而，当需要正则化时，与标准的对角线EWC相比，逐层mini-KFAC近似…
-
新框架支持演化用户意图的持续学习
研究人员开发了一种新颖的开放世界场景持续学习框架，解决了新兴和演化用户意图的发现挑战。该方法利用自适应 \(\\beta\)-VAE 对话句进行编码，生成潜在表示和不确定性估计，以区分已知意图和新意图。多信号决策机制结合了分类器置信度、后验不确定性和 DP-GMM 似然性，以识别和聚类潜在的新意图，仅推广可靠的聚类来扩展标签空间。采用了 Replay 和 Elastic Weight Consolidation 等技术来缓解灾难性遗忘…
-
新研究解决人工智能模型的灾难性遗忘问题 · 已追踪 7 个来源
研究人员正在开发新颖的方法来解决持续学习中的灾难性遗忘问题，即人工智能模型在学习新任务时会丢失先前获得的知识。最近几篇 arXiv 论文提出了不同的方法，包括规范化多模态学习中的模态贡献漂移、采用参数高效门控适应以及利用无梯度进化算法。其他方法则侧重于具有无梯度路由的紧凑型潜在空间适配器，以及在零空间中优化状态空间模型以在顺序任务中保留知识。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题，即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术，包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并，以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
新的基准测试评估AI模型在不同ICU数据域间的迁移能力
研究人员开发了一个新的基准来评估机器学习模型在最初于单一医院数据上训练后，适应不同地区患者数据的能力。这解决了将模型迁移到数据分布各异的小型医院的挑战，这是临床结果预测中常见的问题。该基准将这种迁移视为一个域增量学习问题，并测试了数据重放和弹性权重巩固（EWC）等方法在保留原始知识同时学习新特定领域特征的能力。
-
新方法平衡神经网络的稳定性和可塑性
研究人员开发了新的方法来改进顺序训练的早期退出神经网络，解决了新退出会降低早期退出性能的问题。所提出的技术受持续学习的启发，要么保护关键参数，要么保留先前退出的输出分布。另外一项研究强调，连续数据流如何被划分为离散任务（称为时间任务化）会显著影响流式持续学习的评估结果。即使使用相同的模型和数据，这种任务化选择也会改变学习模式并导致不同的基准结论。