LeWorldModel
PulseAugur coverage of LeWorldModel — every cluster mentioning LeWorldModel across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的Semigroup-JEPA模型提高了世界模型中的物理泛化能力
研究人员开发了Semigroup-JEPA (SG-JEPA)，这是联合嵌入预测架构 (JEPA) 世界模型的扩展。SG-JEPA通过引入动作条件和联合训练编码器与预测器，旨在提高物理学习和物理现实动力学的生成能力。该模型在基于物理的任务上显著降低了预测误差并提高了控制成功率，表明编码器学习到了对动力学预测至关重要的更好特征。
-
新方法解决AI世界模型中的“物理表征惰性”问题
研究人员发现了一种新的潜在世界模型故障模式，称为“物理表征惰性”，在这种模式下，学习到的潜在状态未能捕捉到关键的物理属性，导致规划错误。为解决此问题，他们提出了一种“傅里叶辅助头”，在训练过程中强制对潜在空间进行物理信息结构化。该方法显著提高了规划成功率，尤其是在动态环境和低数据量情况下，且不增加推理成本。
-
新的JEPA世界模型通过状态对齐增强机器人规划
研究人员开发了一种新的端到端联合嵌入预测架构（JEPA）世界模型，旨在通过将学习到的表征与物理现实联系起来，从而改进机器人规划。该模型通过逆动力学和状态对齐来增强潜在预测，旨在确保模型的内部状态保留对机器人控制至关重要的信息。在四个基准任务上的实验表明，其性能优于或可与现有模型相媲美，其中状态对齐组件持续提高了规划成功率。
-
潜在能量动作规划（LEAP）提高了控制成功率
研究人员推出了一种名为潜在能量动作规划（LEAP）的新方法，旨在提高使用潜在世界模型的模型预测控制的效率和成功率。LEAP通过将终端潜在目标匹配与终端窗口状态能量相结合来优化动作序列，确保预测结果与期望目标一致。在四个控制领域的测试中，与交叉熵方法相比，LEAP将平均成功率从77.5%显著提高到94.8%，同时保持了底层LeWorldModel的完整性。
-
新研究强调AI世界模型中的“干预差距”
一篇题为“潜在世界模型中的干预差距”（The Intervention Gap in Latent World Models）的新研究论文探讨了学习到的世界模型的一个关键属性：规划时干预保真度。该属性衡量模型内部的转换是否与现实世界的干预一致。研究发现，包括TD-MPC2和DreamerV3在内的现有模型，即使在奖励预测误差较低的情况下，其模拟干预与实际环境效应之间也存在显著差异。研究表明，有必要直接审计干预保真度，因为标准的训练方法…
-
Flow-JEPA 通过鲁棒的轨迹预测增强了潜在世界模型
研究人员推出了一种新颖的潜在世界建模方法 Flow-JEPA (F-JEPA)，该方法通过采用条件流匹配来增强联合嵌入预测架构 (JEPAs)。该方法用随机轨迹级别的预测取代了先前模型中确定性的、单步的转换预测，并使用高斯分布作为流源来引导潜在状态获得更清晰的表示。F-JEPA 表现出改进的性能，在干净观测下的平均成功率从 86% 提高到 92%，在嘈杂条件下的平均成功率从 67% 提高到 86%，表明其对扰动的鲁棒性。
-
新的JEPA方法使用对比逆动力学来改进世界模型
研究人员开发了一种名为动作对比掩码转换模型（AC-MTM）的新方法，用于联合嵌入预测架构（JEPAs），以解决世界模型中的平凡解问题。与使用SIGReg等正则化器强制执行特定潜在分布的先前方法不同，AC-MTM使用对比逆动力学来防止崩溃。该方法训练一个逆动力学头来识别产生给定潜在转换的动作，从而在不需要预定义目标分布的情况下稳定表示。AC-MTM在更简单的任务上与现有方法相当，并在复杂的OGBench视觉场景任务上显著优于SIGReg…
-
新的SCALE方法通过改进潜在空间几何结构来增强AI规划能力
研究人员开发了一种新方法SCALE（State-Calibrated Latent Embeddings），用于改进联合嵌入预测世界模型中的规划。SCALE通过将成对潜在距离与标准化状态空间距离相关联，来增强潜在表征的几何特性，类似于DINO-WM中发现的特性。这种方法在训练过程中作为一种轻量级正则化器应用，与LeWorldModel等现有方法相比，在各种任务、规划求解器和计算预算上都显示出了一致的改进。研究结果表明，潜在空间的几何结…
-
研究：限制潜在世界模型的瓶颈是规划器的目标，而非预测
一篇新发表在arXiv上的研究论文表明，潜在世界模型的规划能力，而非其预测准确性，是长时规划的主要瓶颈。该研究重现了在TwoRoom环境中对LeWorldModel进行的实验，发现规划器的目标函数是限制因素。通过简单地改变目标函数而不重新训练，模型在长时规划上的成功率显著提高，这表明准确规划所需的信息存在于模型的潜在空间中。
-
LeWorldModel复现强调评估协议对结果的影响
对LeWorldModel研究论文的独立复现发现，评估协议显著影响了报告的结果。研究人员通过实施原始配置文件中未详细说明的特定约定，例如密集动作收集和ImageNet像素归一化，在TwoRoom环境中取得了更高的成功率。此外，该研究还揭示，一步预测精度并不能可靠地预测长时规划的成功率，并且批量归一化层会膨胀验证损失，掩盖了训练损失的平坦性。
-
QQWorld 通过分位数-分位数匹配增强了潜在世界模型的正则化
研究人员推出了一种新颖的潜在世界模型正则化方法 QQWorld。该新方法解决了现有 Epps-Pulley (EP) 目标函数的一些局限性，这些函数在控制潜在分布的重尾偏差方面可能存在困难。QQWorld 采用分位数-分位数匹配目标函数，以更好地将投影的潜在样本与高斯分位数对齐，从而确保更有效的梯度校正，尤其是在分布的尾部。该方法已在各种控制环境中证明了规划成功率的提高。
-
新的SIGReg方法提升了多任务世界模型学习能力
研究人员开发了一种名为Temporally Centered SIGReg的新方法，以改进世界模型中的多任务学习。原始的SIGReg技术虽然对单任务有效，但在处理多任务时会压缩潜在表示并导致混叠，从而遇到困难。新方法将SIGReg应用于时间上居中的残差，避免了对聚类分离的直接压力，并允许更灵活的潜在结构。该方法在LIBERO基准测试中显著提高了下游成功率，优于现有方法，并接近大规模预训练基线。
-
新的潜在世界模型预测地球观测卫星图像的可用性
研究人员开发了一个潜在世界模型 LeWorldModel，用于预测地球观测 (EO) 图像何时可用，解决了数据可用性与地表可见性之间的瓶颈。该模型适用于云感知序列，并在 EarthNet2021 数据集上进行训练，可预测未来卫星采集的可用性。在评估中，LeWorldModel 在下一步可用性和确切可用视线预测方面均显著优于持久性基线，证明了其在改进 EO 处理链方面的有效性。
-
LeWorldModel 的分层规划显示出喜忧参半的结果
研究人员调查了 LeWorldModel 中分层规划对于长时域目标条件控制任务的有效性。他们的扩展 Hi-LeWM 冻结了一个预训练的低层 LeWM，并在潜在子目标之上添加了一个高层规划器。研究发现，时间层次结构并不固有地提高性能，在更长时域中，高层动作空间与搜索分布之间会出现不匹配。然而，通过约束搜索和仔细安排子目标执行的时机，可以恢复分层机制，从而在扁平 LeWM 上获得性能提升。
-
Fast LeWorldModel 通过并行预测加速视觉规划
研究人员开发了 Fast LeWorldModel (Fast-LeWM)，这是对现有联合嵌入预测架构 (JEPAs)，如用于视觉规划的 LeWorldModel (LeWM) 的一项改进。与 LeWM 评估动作序列的计算密集型单步潜在转移模型不同，Fast-LeWM 采用并行动作前缀预测。这种新方法通过编码动作前缀并同时预测未来潜在状态来模拟多个视界上的累积动作效应。该方法显著减少了规划时间和潜在误差累积，从而提高了各种任务的成功率。
-
AI世界模型通过潜在规划器获得长视界规划能力
研究人员开发了世界模型中长视界规划的新方法，解决了现有技术的局限性。一种方法FF-JEPA使用分层结构，包含两个前向动力学模型，其中包括一个无动作的潜在规划器来预测子目标，从而消除了对显式目标图像的需求，并实现了长时间的规划。另一种方法基于预训练的LeWorldModel，将规划摊销到潜在逆动力学映射中，用一个更快的、目标条件化的逆动力学模型取代了迭代优化，该模型在保持或超过性能的同时显著降低了计算成本。
-
新的JEPA架构实现从像素到端到端的稳定训练
研究人员开发了LeWorldModel (LeWM)，一种新颖的联合嵌入预测架构 (JEPA)，可以从原始像素稳定地进行端到端训练。与之前脆弱的JEPA方法不同，LeWM仅使用两个损失项，可以在数小时内使用单个GPU进行训练，其规划速度比基于基础模型的世界模型快48倍。随后的论文介绍了UR-JEPA，它通过目标统一可校正性来改进JEPA训练，与LeJEPA相比，显示出改进的种子稳定性和独特的几何表示。
-
新的TRM方法提升了潜在世界模型的规划性能
研究人员开发了一种名为轨迹可达性指标（TRM）的新方法，以提高潜在世界模型在规划任务中的性能。TRM通过训练一个成对头来根据可达性更好地对候选序列进行排序，而不是仅仅依赖欧几里得距离，从而解决了标准潜在MPC的局限性。这种方法显著提高了TwoRoom等基准测试的成功率，在一项实验中将性能从7.0%提升到97.0%。