研究人员推出了一种新颖的优化器FOGO，旨在解决AI模型训练过程中的遗忘问题。FOGO通过检测和解决梯度干扰，同时处理每个训练步骤中的短期遗忘和持续学习中常见的长期遗忘。该优化器利用谱正交化和紧凑的代码本记忆来保留过去的更新方向，在包括微调LLaVA-7B和预训练GPT-2在内的各种任务中，均表现出比Adam和Muon等现有优化器更好的收敛性和知识保留能力。 AI
影响 FOGO减少遗忘的能力可能导致更高效、更有效的AI模型训练，尤其是在持续学习场景中。
排序理由 该集群包含一篇详细介绍AI模型新优化算法的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.10406v1 Announce Type: cross Abstract: We argue that forgetting is not confined to continual learning but is a general optimization phenomenon: during standard training, dominant mini-batch gradients suppress rare but useful update directions, causing short-term forget…
We argue that forgetting is not confined to continual learning but is a general optimization phenomenon: during standard training, dominant mini-batch gradients suppress rare but useful update directions, causing short-term forgetting at every step. When such knowledge is never r…