Walrus-1.3B

物理基础模型在适应过程中遗忘知识

一篇新研究论文探讨了物理基础模型 Walrus-1.3B 中的灾难性遗忘问题。研究发现，将该模型适应新数据（具体来说是模拟的圆柱体周围流动，然后是同一系统的实验数据）会显著降低其在原始预训练任务上的性能。在仅用模拟数据进行 20 个 epoch 的微调后，错误率最高增加了 35 倍。研究表明，在适应真实世界数据时重放一小部分原始模拟数据，可以在有效适应新实验动力学的同时，恢复大部分丢失的性能。