Orthogonal JEPA

Orthogonal JEPA 框架通过因子化状态增强潜在世界模型

研究人员推出了一种新颖的潜在世界建模框架 Orthogonal JEPA，旨在提高预测和推理能力。该方法通过将预测状态分解为正交分量，每个分量都有自己的预测路径，从而解决了标准联合嵌入预测架构 (JEPAs) 的局限性。这种方法旨在防止冗余容量分配，并为复杂系统提供更清晰的梯度。在视觉、健康记录和分子动力学等多个领域的实验证明了其在表示质量、预测和长时稳定性方面的有效性。