一篇新研究论文探讨了物理基础模型 Walrus-1.3B 中的灾难性遗忘问题。研究发现,将该模型适应新数据(具体来说是模拟的圆柱体周围流动,然后是同一系统的实验数据)会显著降低其在原始预训练任务上的性能。在仅用模拟数据进行 20 个 epoch 的微调后,错误率最高增加了 35 倍。研究表明,在适应真实世界数据时重放一小部分原始模拟数据,可以在有效适应新实验动力学的同时,恢复大部分丢失的性能。 AI
影响 强调了科学基础模型适应新数据时潜在的局限性,并提出重放策略作为缓解灾难性遗忘的方法。
排序理由 这是一篇详细介绍特定模型行为发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →