LeWorldModel
PulseAugur coverage of LeWorldModel — every cluster mentioning LeWorldModel across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的VPFlow方法在离线强化学习中优先考虑价值预测
研究人员开发了VPFlow，一种新颖的离线目标条件强化学习方法，该方法优先考虑价值预测而非状态预测进行规划。该方法使用价值回归作为潜在世界模型的唯一监督，使其能够通过关注价值场的等值线来探索数据集转换之外的区域。VPFlow将这些价值预测表示与一步流策略和进化搜索相结合，在OGBench数据集上的成功率方面，与现有的无模型和潜在规划基线相比，均取得了显著的改进。
-
新的SpecWM框架使用频谱对齐改进世界建模
研究人员推出了一种新的世界建模框架SpecWM，该框架使用频谱表示学习来指导模型保留哪些信息。通过指定观测值之间的期望关系（通过目标相似性核），SpecWM训练编码器在其嵌入几何中重现这些关系。这种方法可以明确控制从表示中可恢复的物理量，并在OGBench Cube、OGBench Scene和CALVIN等各种基准测试中规划成功率方面显示出显著的改进。
-
新的控制-几何校直技术提高了AI规划效率
研究人员开发了一种名为控制-几何校直（CGS）的新技术，以提高潜在世界模型中规划的效率。CGS是一种辅助损失函数，通过校直控制几何形状直接优化有利于规划器的表示，从而用更少的样本更容易地找到最优动作。该方法在各种控制环境中的规划成功率方面显示出显著的改进，优于LeWorldModel及其时间校直变体等现有方法。
-
新型世界模型旨在简化AI数据策展
研究人员推出LeCuration，这是一种新颖的小型世界模型，旨在协助物理AI应用的数据组织、过滤和策展。该模型利用LeWorldModel编码器和扩散Transformer解码器来预测游戏状态和识别异常。虽然目前仅在CS:GO游戏数据上进行了概念验证，但团队计划在未来探索量化策展指标和下游训练结果。
-
LeCuration：微型世界模型增强 AI 数据策展
研究人员开发了 LeCuration，一个旨在增强物理 AI 应用数据策展的小型世界模型。该模型使用 LeWorldModel 和扩散 Transformer 解码器构建，旨在根据单个数据集独特的物理定律来组织和过滤数据。初步研究结果表明，LeCuration 可以作为异常检测信号和聚类启发式方法，并有可能在自回归展开中检查动作-状态一致性。目前的工作是使用 CS:GO 游戏数据的概念验证，未来的重点将放在量化策展指标和下游训练结果上。
-
新的DTRC方法通过时序可达性增强离线视觉控制
研究人员开发了面向控制的定向时序表示（DTRC），这是一种用于学习与离线控制任务的时序可达性对齐的视觉表示的新方法。DTRC通过构建定向时序拟度量来估计时序到达成本和进度，从而在冻结的LeWorldModel特征的基础上进行构建。该方法在十项视觉控制任务中表现强劲，优于传统的规划和直接策略基线。
-
新方法通过强大的视觉表示增强AI代理规划
研究人员开发了新方法，以提高AI代理中使用的潜在世界模型的鲁棒性和规划能力。第一种方法JEPA-Bisim引入了一个双模拟编码器，以强制执行与控制相关的状态等价性，这有助于代理忽略不相关的视觉变化，如背景变化和干扰物。该方法已显示出改进的鲁棒性，并且可以使用比以前的模型小10倍的潜在空间，同时仍与各种预训练的视觉编码器兼容。第二种方法AnisoWM与\u039BReg解决了表示几何与规划中的任务对齐之间的不匹配问题。它用可学习的对角协…
-
新的Semigroup-JEPA模型提高了世界模型中的物理泛化能力
研究人员开发了Semigroup-JEPA (SG-JEPA)，这是联合嵌入预测架构 (JEPA) 世界模型的扩展。SG-JEPA通过引入动作条件和联合训练编码器与预测器，旨在提高物理学习和物理现实动力学的生成能力。该模型在基于物理的任务上显著降低了预测误差并提高了控制成功率，表明编码器学习到了对动力学预测至关重要的更好特征。
-
新方法解决AI世界模型中的“物理表征惰性”问题
研究人员发现了一种新的潜在世界模型故障模式，称为“物理表征惰性”，在这种模式下，学习到的潜在状态未能捕捉到关键的物理属性，导致规划错误。为解决此问题，他们提出了一种“傅里叶辅助头”，在训练过程中强制对潜在空间进行物理信息结构化。该方法显著提高了规划成功率，尤其是在动态环境和低数据量情况下，且不增加推理成本。
-
新的JEPA世界模型通过状态对齐增强机器人规划
研究人员开发了一种新的端到端联合嵌入预测架构（JEPA）世界模型，旨在通过将学习到的表征与物理现实联系起来，从而改进机器人规划。该模型通过逆动力学和状态对齐来增强潜在预测，旨在确保模型的内部状态保留对机器人控制至关重要的信息。在四个基准任务上的实验表明，其性能优于或可与现有模型相媲美，其中状态对齐组件持续提高了规划成功率。
-
潜在能量动作规划（LEAP）提高了控制成功率
研究人员推出了一种名为潜在能量动作规划（LEAP）的新方法，旨在提高使用潜在世界模型的模型预测控制的效率和成功率。LEAP通过将终端潜在目标匹配与终端窗口状态能量相结合来优化动作序列，确保预测结果与期望目标一致。在四个控制领域的测试中，与交叉熵方法相比，LEAP将平均成功率从77.5%显著提高到94.8%，同时保持了底层LeWorldModel的完整性。
-
新研究强调AI世界模型中的“干预差距”
一篇题为“潜在世界模型中的干预差距”（The Intervention Gap in Latent World Models）的新研究论文探讨了学习到的世界模型的一个关键属性：规划时干预保真度。该属性衡量模型内部的转换是否与现实世界的干预一致。研究发现，包括TD-MPC2和DreamerV3在内的现有模型，即使在奖励预测误差较低的情况下，其模拟干预与实际环境效应之间也存在显著差异。研究表明，有必要直接审计干预保真度，因为标准的训练方法…
-
Flow-JEPA 通过鲁棒的轨迹预测增强了潜在世界模型
研究人员推出了一种新颖的潜在世界建模方法 Flow-JEPA (F-JEPA)，该方法通过采用条件流匹配来增强联合嵌入预测架构 (JEPAs)。该方法用随机轨迹级别的预测取代了先前模型中确定性的、单步的转换预测，并使用高斯分布作为流源来引导潜在状态获得更清晰的表示。F-JEPA 表现出改进的性能，在干净观测下的平均成功率从 86% 提高到 92%，在嘈杂条件下的平均成功率从 67% 提高到 86%，表明其对扰动的鲁棒性。
-
新的JEPA方法使用对比逆动力学来改进世界模型
研究人员开发了一种名为动作对比掩码转换模型（AC-MTM）的新方法，用于联合嵌入预测架构（JEPAs），以解决世界模型中的平凡解问题。与使用SIGReg等正则化器强制执行特定潜在分布的先前方法不同，AC-MTM使用对比逆动力学来防止崩溃。该方法训练一个逆动力学头来识别产生给定潜在转换的动作，从而在不需要预定义目标分布的情况下稳定表示。AC-MTM在更简单的任务上与现有方法相当，并在复杂的OGBench视觉场景任务上显著优于SIGReg…
-
新的SCALE方法通过改进潜在空间几何结构来增强AI规划能力
研究人员开发了一种新方法SCALE（State-Calibrated Latent Embeddings），用于改进联合嵌入预测世界模型中的规划。SCALE通过将成对潜在距离与标准化状态空间距离相关联，来增强潜在表征的几何特性，类似于DINO-WM中发现的特性。这种方法在训练过程中作为一种轻量级正则化器应用，与LeWorldModel等现有方法相比，在各种任务、规划求解器和计算预算上都显示出了一致的改进。研究结果表明，潜在空间的几何结…
-
研究：限制潜在世界模型的瓶颈是规划器的目标，而非预测
一篇新发表在arXiv上的研究论文表明，潜在世界模型的规划能力，而非其预测准确性，是长时规划的主要瓶颈。该研究重现了在TwoRoom环境中对LeWorldModel进行的实验，发现规划器的目标函数是限制因素。通过简单地改变目标函数而不重新训练，模型在长时规划上的成功率显著提高，这表明准确规划所需的信息存在于模型的潜在空间中。
-
LeWorldModel复现强调评估协议对结果的影响
对LeWorldModel研究论文的独立复现发现，评估协议显著影响了报告的结果。研究人员通过实施原始配置文件中未详细说明的特定约定，例如密集动作收集和ImageNet像素归一化，在TwoRoom环境中取得了更高的成功率。此外，该研究还揭示，一步预测精度并不能可靠地预测长时规划的成功率，并且批量归一化层会膨胀验证损失，掩盖了训练损失的平坦性。
-
QQWorld 通过分位数-分位数匹配增强了潜在世界模型的正则化
研究人员推出了一种新颖的潜在世界模型正则化方法 QQWorld。该新方法解决了现有 Epps-Pulley (EP) 目标函数的一些局限性，这些函数在控制潜在分布的重尾偏差方面可能存在困难。QQWorld 采用分位数-分位数匹配目标函数，以更好地将投影的潜在样本与高斯分位数对齐，从而确保更有效的梯度校正，尤其是在分布的尾部。该方法已在各种控制环境中证明了规划成功率的提高。
-
新的SIGReg方法提升了多任务世界模型学习能力
研究人员开发了一种名为Temporally Centered SIGReg的新方法，以改进世界模型中的多任务学习。原始的SIGReg技术虽然对单任务有效，但在处理多任务时会压缩潜在表示并导致混叠，从而遇到困难。新方法将SIGReg应用于时间上居中的残差，避免了对聚类分离的直接压力，并允许更灵活的潜在结构。该方法在LIBERO基准测试中显著提高了下游成功率，优于现有方法，并接近大规模预训练基线。
-
新的潜在世界模型预测地球观测卫星图像的可用性
研究人员开发了一个潜在世界模型 LeWorldModel，用于预测地球观测 (EO) 图像何时可用，解决了数据可用性与地表可见性之间的瓶颈。该模型适用于云感知序列，并在 EarthNet2021 数据集上进行训练，可预测未来卫星采集的可用性。在评估中，LeWorldModel 在下一步可用性和确切可用视线预测方面均显著优于持久性基线，证明了其在改进 EO 处理链方面的有效性。