谷歌研究人员提出了一种新的大语言模型范式，建议模型在“清醒”和“睡眠”状态之间交替。在“清醒”期间，模型处理信息并执行任务，而“睡眠”期间则通过称为“做梦”的过程来巩固近期经验并基于合成数据进行训练。这种方法旨在通过将快速适应与稳定知识整合分开来解决灾难性遗忘的挑战，并实现持续学习，从而可能产生能够随时间演变的而非在初始训练后保持静态的模型。 AI
影响 这项研究可能导致能够持续学习并随时间适应的LLM，从而提高它们的长期知识保留能力并减少持续重新训练的需求。
排序理由 该集群讨论了一篇提出大语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
