point tracks

新的世界动作模型通过因果语义和多模态预测增强泛化能力

研究人员开发了新的世界动作模型（WAMs），它们在视觉分布变化下提高了泛化能力。第一个模型CSWAM集成了基于V-JEPA 2.1构建的因果语义专家，以更好地表示语义状态变化和运动，显著提高了真实机器人实验的成功率。第二个模型ModAR自回归地去除了RGB之外的多种未来模态的噪声，例如深度图和点轨迹，展示了在训练FLOPs显著减少且无需预训练的情况下性能更优。