Galaxy10~SDSS

新的JEPA架构实现从像素到端到端的稳定训练

研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。