DINO-WM
PulseAugur coverage of DINO-WM — every cluster mentioning DINO-WM across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的SCALE方法通过改进潜在空间几何结构来增强AI规划能力
研究人员开发了一种新方法SCALE（State-Calibrated Latent Embeddings），用于改进联合嵌入预测世界模型中的规划。SCALE通过将成对潜在距离与标准化状态空间距离相关联，来增强潜在表征的几何特性，类似于DINO-WM中发现的特性。这种方法在训练过程中作为一种轻量级正则化器应用，与LeWorldModel等现有方法相比，在各种任务、规划求解器和计算预算上都显示出了一致的改进。研究结果表明，潜在空间的几何结…
-
面向对象的模型显示出改进的规划和鲁棒性
研究人员对用于视觉模型预测控制的面向对象的模型（OCWMs）进行了研究，探讨了在分布变化下表示质量和鲁棒性的影响。研究发现，规划成功与无监督的槽质量指标相关，并且绑定良好的槽减少了对辅助输入和掩码偏差的需求。此外，与端到端训练的场景中心模型相比，绑定良好的 OCWMs 表现出更强的鲁棒性，预训练的特征也对此弹性有所贡献。
-
UniJEPA 统一图像和视频视觉世界建模
研究人员推出 UniJEPA，这是一种新颖的统一架构，用于自监督视觉世界建模。该新框架将图像级光度预测和视频级时间预测整合到一个单一的潜在空间中。UniJEPA 使用单一的端到端目标，简化了训练，并证明共享的潜在空间可以支持可控的抽象，以实现不变结构和等变动力学。
-
Qantara JEPA模型支持从单一检查点进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构（JEPA）——Qantara，它允许单个模型检查点在推理时支持从原始像素进行控制的多种推理范式。与之前在训练期间承诺轨迹优化或行为克隆的JEPA模型不同，Qantara的联合训练目标在推理时提供了灵活性。这种多范式方法包括潜在规划、行为克隆和逆动力学，在OGBench-Cube和LeWM控制套件等基准测试中展示了最先进的性能。
-
Qantara JEPA 可实现从像素进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构（JEPA），名为 Qantara，它能够从原始像素实现多范式控制。与先前在训练时就确定单一推理方法的 JEPA 不同，Qantara 的联合训练目标允许单个检查点在无需重新训练的情况下支持轨迹优化、行为克隆和逆动力学。这种灵活性是通过布朗桥插值和噪声到数据流匹配实现的。Qantara 在 OGBench-Cube 和 LeWM 控制套件等基准测试中展示了最先进的性能，显著优于现有的 JEPA 世界模型。
-
AI代理使用世界模型进行更好的物理规划
研究人员调查了联合嵌入预测世界模型（JEPA-WMs）在AI代理物理规划中的有效性。他们的研究侧重于确定在此框架内有助于成功规划的关键架构和训练选择。使用模拟和真实机器人数据的实验表明，他们提出的模型结合了优化组件，在导航和操作任务上都优于已建立的基线。