PulseAugur
中
实时 12:52:41
English(EN) Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

新方法解决低秩持续学习中的知识遗忘问题

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员已确定谱不平衡是预训练模型低秩持续适应过程中知识遗忘的关键因素。他们提出了一种新方法，将任务更新的幅度与其方向结构解耦，并将其表述为在Stiefel流形上的约束优化问题。该方法与视觉语言模型中使用的标准深度学习优化器兼容，旨在减轻向后遗忘和向前遗忘，并在持续学习基线方面表现出比现有方法更好的性能。 AI

影响 这项研究可能有助于在不丢失先前学习信息的情况下，更鲁棒、更高效地使AI模型适应新任务。

排序理由 该集群包含一篇详细介绍持续学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法解决低秩持续学习中的知识遗忘问题

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Hao Gu, Mao-Lin Luo, Zi-Hao Zhou, Han-Chen Zhang, Min-Ling Zhang, Tong Wei ·

    Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

    arXiv:2602.00722v2 Announce Type: replace Abstract: Parameter-efficient continual learning aims to adapt pre-trained models to sequential tasks without forgetting previously acquired knowledge. Most existing approaches treat continual learning as avoiding interference with past u…

相关实体

相关话题