DINO-WM
PulseAugur coverage of DINO-WM — every cluster mentioning DINO-WM across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的控制-几何校直技术提高了AI规划效率
研究人员开发了一种名为控制-几何校直(CGS)的新技术,以提高潜在世界模型中规划的效率。CGS是一种辅助损失函数,通过校直控制几何形状直接优化有利于规划器的表示,从而用更少的样本更容易地找到最优动作。该方法在各种控制环境中的规划成功率方面显示出显著的改进,优于LeWorldModel及其时间校直变体等现有方法。
-
新的Market-1T数据集赋能更深入的金融世界建模
研究人员推出了Market-1T,这是一个包含2008年至2025年间近一万亿条美国股票1赫兹分辨率观测数据的大型数据集。该数据集以及严格的评估协议,促进了对金融表征学习策略的大规模研究。研究结果表明,不同的训练方法可以带来相似的预测性能,但会导致市场状态的不同组织结构,为金融世界模型奠定了基础。
-
新方法通过强大的视觉表示增强AI代理规划
研究人员开发了新方法,以提高AI代理中使用的潜在世界模型的鲁棒性和规划能力。第一种方法JEPA-Bisim引入了一个双模拟编码器,以强制执行与控制相关的状态等价性,这有助于代理忽略不相关的视觉变化,如背景变化和干扰物。该方法已显示出改进的鲁棒性,并且可以使用比以前的模型小10倍的潜在空间,同时仍与各种预训练的视觉编码器兼容。第二种方法AnisoWM与\u039BReg解决了表示几何与规划中的任务对齐之间的不匹配问题。它用可学习的对角协…
-
新的Semigroup-JEPA模型提高了世界模型中的物理泛化能力
研究人员开发了Semigroup-JEPA (SG-JEPA),这是联合嵌入预测架构 (JEPA) 世界模型的扩展。SG-JEPA通过引入动作条件和联合训练编码器与预测器,旨在提高物理学习和物理现实动力学的生成能力。该模型在基于物理的任务上显著降低了预测误差并提高了控制成功率,表明编码器学习到了对动力学预测至关重要的更好特征。
-
新的SCALE方法通过改进潜在空间几何结构来增强AI规划能力
研究人员开发了一种新方法SCALE(State-Calibrated Latent Embeddings),用于改进联合嵌入预测世界模型中的规划。SCALE通过将成对潜在距离与标准化状态空间距离相关联,来增强潜在表征的几何特性,类似于DINO-WM中发现的特性。这种方法在训练过程中作为一种轻量级正则化器应用,与LeWorldModel等现有方法相比,在各种任务、规划求解器和计算预算上都显示出了一致的改进。研究结果表明,潜在空间的几何结…
-
面向对象的模型显示出改进的规划和鲁棒性
研究人员对用于视觉模型预测控制的面向对象的模型(OCWMs)进行了研究,探讨了在分布变化下表示质量和鲁棒性的影响。研究发现,规划成功与无监督的槽质量指标相关,并且绑定良好的槽减少了对辅助输入和掩码偏差的需求。此外,与端到端训练的场景中心模型相比,绑定良好的 OCWMs 表现出更强的鲁棒性,预训练的特征也对此弹性有所贡献。
-
UniJEPA 统一图像和视频视觉世界建模
研究人员推出 UniJEPA,这是一种新颖的统一架构,用于自监督视觉世界建模。该新框架将图像级光度预测和视频级时间预测整合到一个单一的潜在空间中。UniJEPA 使用单一的端到端目标,简化了训练,并证明共享的潜在空间可以支持可控的抽象,以实现不变结构和等变动力学。
-
Qantara JEPA模型支持从单一检查点进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构(JEPA)——Qantara,它允许单个模型检查点在推理时支持从原始像素进行控制的多种推理范式。与之前在训练期间承诺轨迹优化或行为克隆的JEPA模型不同,Qantara的联合训练目标在推理时提供了灵活性。这种多范式方法包括潜在规划、行为克隆和逆动力学,在OGBench-Cube和LeWM控制套件等基准测试中展示了最先进的性能。
-
Qantara JEPA 可实现从像素进行多范式控制
研究人员推出了一种新颖的联合嵌入预测架构(JEPA),名为 Qantara,它能够从原始像素实现多范式控制。与先前在训练时就确定单一推理方法的 JEPA 不同,Qantara 的联合训练目标允许单个检查点在无需重新训练的情况下支持轨迹优化、行为克隆和逆动力学。这种灵活性是通过布朗桥插值和噪声到数据流匹配实现的。Qantara 在 OGBench-Cube 和 LeWM 控制套件等基准测试中展示了最先进的性能,显著优于现有的 JEPA 世界模型。
-
AI代理使用世界模型进行更好的物理规划
研究人员调查了联合嵌入预测世界模型(JEPA-WMs)在AI代理物理规划中的有效性。他们的研究侧重于确定在此框架内有助于成功规划的关键架构和训练选择。使用模拟和真实机器人数据的实验表明,他们提出的模型结合了优化组件,在导航和操作任务上都优于已建立的基线。