Vaggelis Dorovatas

新方法允许大型语言模型从自身的推理轨迹中学习

研究人员开发了一种新颖的方法，使大型语言模型能够在线学习其自身的推理过程，将瞬时计算转化为持久知识。这种方法受无监督强化学习的启发，使用轻量级的每实例训练和自生成信号作为奖励。所提出的技术将推理时计算提炼成紧凑、模块化的潜在记忆，这些记忆被存储并检索以供未来输入使用，从而实现持续改进而不会发生灾难性遗忘。该方法效率很高，只需要最少的参数更新，并在数学推理基准测试中的性能与完整的离线训练相媲美。