实体
Learning without Forgetting
Learning without Forgetting
PulseAugur coverage of Learning without Forgetting — every cluster mentioning Learning without Forgetting across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的微调方法教会大型多模态模型新技能且不遗忘
研究人员开发了新颖的方法来微调大型多模态模型（LMM），使其能够获得新技能而不会损害现有能力。通过分析输出令牌分布并识别“计数偏差”，他们发现仅选择性地更新自注意力投影层或MLP Gate&Up组件，可以显著减少先前学习任务上的性能损失。这些选择性微调方法在LLaVA-OneVision、LLaVA-NeXT和Qwen2.5-VL模型上进行了演示，在学习-稳定性权衡方面优于传统的全模型微调以及LwF、LoRA和WiSE-FT等其他遗忘缓解技术。
-
新方法平衡神经网络的稳定性和可塑性
研究人员开发了新的方法来改进顺序训练的早期退出神经网络，解决了新退出会降低早期退出性能的问题。所提出的技术受持续学习的启发，要么保护关键参数，要么保留先前退出的输出分布。另外一项研究强调，连续数据流如何被划分为离散任务（称为时间任务化）会显著影响流式持续学习的评估结果。即使使用相同的模型和数据，这种任务化选择也会改变学习模式并导致不同的基准结论。