研究人员开发了一种名为 Next-Latent Prediction (NextLat) 的新训练方法，用于 transformer 模型，鼓励它们构建更紧凑的内部世界模型。该方法在标准的下一个 token 预测基础上增加了一个自监督目标，训练 transformer 根据当前 token 预测其未来的潜在状态。该方法在包括语言建模在内的各种基准测试中，在准确性、表示压缩和规划方面都显示出实证收益，并且还能加速推理。 AI
影响 通过实现更高效的内部世界模型来增强 transformer 的能力，可能提高泛化能力和推理速度。
排序理由 该集群包含一篇详细介绍 transformer 模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →