Ali Behrouz

谷歌研究人员提出LLM的“睡眠”和“做梦”以改进持续学习

谷歌研究人员提出了一种新的大语言模型范式，建议模型在“清醒”和“睡眠”状态之间交替。在“清醒”期间，模型处理信息并执行任务，而“睡眠”期间则通过称为“做梦”的过程来巩固近期经验并基于合成数据进行训练。这种方法旨在通过将快速适应与稳定知识整合分开来解决灾难性遗忘的挑战，并实现持续学习，从而可能产生能够随时间演变的而非在初始训练后保持静态的模型。