World-Action Models
PulseAugur coverage of World-Action Models — every cluster mentioning World-Action Models across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新框架通过人类视频引导机器人模型
研究人员开发了WAM-TTT，一个旨在利用人类游玩视频来引导机器人基础模型（RFMs）的新框架。该方法无需额外的机器人演示或特定任务的微调即可进行适应。WAM-TTT利用自监督视频预测，将人类视频整合到冻结的世界动作模型（WAM）中的自适应记忆中，从而实现对各种操作任务的高效且可重用的引导。
-
新模型通过整合视觉和状态来增强机器人操作能力
研究人员开发了几种新方法，通过更好地整合视觉信息与机器人的状态和动作来提高机器人操作能力。例如，GeoProp 是一种轻量级适配器，通过将机器人状态投影到图像平面并注入空间先验来对齐本体感觉和视觉。RoboDojo 提供了一个统一的模拟和真实基准，用于评估通用机器人操作策略在各种任务中的表现。DSWAM 引入了一种双系统方法，将世界动作模型执行器与视觉语言规划器相结合，以实现细粒度操作，而 DynaWM 使用专门针对动态物体操作的基于…
-
机器人研究在动作和场景生成方面推进世界模型 · 跟踪7个来源
一篇新的教程论文阐述了机器人学中“世界模型”的范围，将其分为观测空间和状态空间两类，并引入了将预测与机器人动作联系起来的“世界动作模型”。同时，一篇研究论文介绍了一种新颖的移动操作世界动作模型ABot-M0.5，该模型采用Transformer混合架构和梦境强制训练策略，取得了最先进的性能。另一个项目Micro-World提供了一个动作控制的交互式世界模型，用于生成开放域场景，并发布了模型权重和代码以促进社区研究。
-
新研究推进自动驾驶和机器人领域的世界行动模型
两篇新研究论文介绍了世界行动模型（WAMs）的先进方法，这对于模拟未来环境变化和规划行动至关重要，尤其是在自动驾驶和机器人领域。第一篇论文 ReWorld 专注于通过直接优化中间表示来改进 WAMs 中的表示学习，以实现更好的视频生成和规划。第二篇论文 DIM-WAM 通过整合多样化的历史事件记忆来增强 WAMs，以处理长时任务，显著提高了机器人操作场景下的性能。
-
调查阐明了用于决策的世界行动模型
一篇新的调查论文阐明了世界行动模型（WAMs）的边界和共性，WAMs是为决策而设计的预测-行动系统。这些模型在表征丰富性与计算约束之间取得平衡，利用各种方法，如大型视频生成模型或语言和视觉-语言骨干网络。该论文根据生成的内容（渲染的未来、潜在的未来或行动推理）及其预测基底、骨干网络、行动耦合和部署机制对现有工作进行了分类。它强调了在保留必要控制能力的同时，生成更少未来内容的趋势。
-
图像编辑模型取代机器人控制系统中的视频生成
研究人员开发了ImageWAM，一个利用预训练图像编辑模型进行机器人控制的新框架，挑战了世界动作模型（WAMs）中视频生成的必要性。该方法通过专注于与动作相关的视觉转换而非完整的视频预测，显著降低了计算成本和推理时间。实验表明，ImageWAM在模拟和现实世界场景中均优于现有基线，与基于视频的WAMs相比，FLOPs减少了1/6，延迟减少了1/4。
-
新的AI模型应对自动驾驶的远期规划问题
研究人员正在开发先进的自动驾驶AI模型，重点是改进轨迹规划和远期决策。包括ParkingTransformer、TerraTransfer、AlignDrive、Metis和GraphWorld在内的几个新框架，利用了LLM、自我博弈和基于图的世界建模等技术，以增强复杂驾驶场景下的泛化性、效率和安全性。这些方法旨在通过更好地整合感知、预测和规划，以及从多样化数据中学习而不完全依赖专家演示，来克服现有方法的局限性。
-
新的机器人策略模型增强了动作生成和效率
研究人员开发了新的机器人策略学习方法，提高了动作生成效率和准确性。LeaP（一种可学习的源先验）通过对本体感觉进行条件化来优化动作生成的起点，从而在操作任务上取得了显著的性能提升。LaWAM引入了潜在世界动作模型，该模型预测紧凑的潜在视觉子目标而非完整的视频帧，从而在保持高成功率的同时降低了计算延迟。几何动作模型（GAM）将几何基础模型重新用于语言条件操作，直接整合3D几何以实现更鲁棒、更高效的控制。
-
MaskWAM模型统一掩码以增强机器人控制
研究人员开发了MaskWAM，这是一种新颖的以物体为中心的世界-动作模型，旨在通过视频预测来改进机器人控制。通过使用Transformer混合模型将掩码整合为输入和预测，MaskWAM解决了当前模型中的空间瓶颈，减少了歧义和背景偏差。这种方法增强了语义监督，并提供了精确的空间锚定，从而在各种机器人任务上取得了显著的性能提升，包括那些具有模糊语言指令的任务。
-
新的AGRA方法改进了来自世界模型的机器人行动控制
研究人员开发了一种名为AGRA的新方法，以提高世界行动模型（WAMs）的行动控制能力。WAMs使用视频生成来预测未来场景并推导出机器人动作，但常常难以从可行的视觉未来中提取准确的动作。AGRA通过将中间视频扩散特征与语义表征对齐来解决这个问题，确保动作解码器专注于相关的交互区域并提高鲁棒性。
-
新的C3ache方法加速了机器人世界动作模型
研究人员开发了一种名为C$^3$ache的新方法，以加速世界动作模型（WAMs）的推理过程。WAMs以其在机器人技术中的强大泛化能力而闻名，但由于多步去噪过程，计算成本很高。C$^3$ache通过缓存和重用不同推理块中的计算残差来解决这个问题，在不显著影响任务成功率的情况下实现了高达2.5倍的速度提升。
-
Flash-WAM 为世界动作模型实现 23 倍的推理加速
研究人员开发了 Flash-WAM，一个显著加快推理时间的世界动作模型新框架。传统模型需要许多去噪步骤，使得实时控制变得困难。Flash-WAM 采用模态感知步长蒸馏技术，适应视频和动作流独特的噪声特性。这使得单步推理过程成为可能，在 NVIDIA L40S 硬件上将延迟从 8 秒以上降低到 350 毫秒以下，提高了 23 倍。
-
新框架评估机器人策略超越任务成功
研究人员开发了一个新的框架来评估机器人操作策略，特别是比较视觉-语言-动作（VLA）模型与世界-动作模型（WAMs）。该框架分析了机器人的可观察行为及其内部表征。结果表明，虽然WAMs通常能改进任务特定动作，但其益处因架构而异，并可能增加计算成本。研究表明，顺序WAMs能更好地捕捉预测结构，为设计更高效的机器人控制系统提供了见解。
-
DreamZero 和 Motus 以不同的生成策略推进世界动作模型
DreamZero 和 Motus 代表了世界动作模型（WAMs）的两种不同方法，都利用流匹配和基于块的生成来处理视频和动作序列。DreamZero 采用自回归、因果生成方法，按时间顺序处理数据并遵循因果注意力掩码，适用于实时机器人控制。相比之下，Motus 提供了一个灵活的、统一的框架，基于双向、非因果架构，能够同时生成整个未来的视频和动作块，并支持多种任务模式。
-
Pelican-Unified 1.0 模型统一了具身人工智能能力
研究人员推出了 Pelican-Unified 1.0，这是一种新颖的具身智能模型，将理解、推理、想象和行动整合到一个单一系统中。这种统一的方法使用单一的视觉-语言模型来处理各种输入并生成未来状态和动作，同时优化所有能力。早期实验表明，Pelican-Unified 1.0 在多个基准测试中取得了最先进的性能，证明了统一并不会损害专业优势。
-
机器人学研究通过自适应执行和新基准推动世界动作模型发展
研究人员正在开发新方法以提高机器人学中世界动作模型（WAMs）的可靠性和效率。一种方法侧重于自适应动作执行，机器人根据预测未来与现实世界观察之间的一致性来调整其动作，从而减少不必要的计算。另一项开发引入了iWorld-Bench，这是一个全面的基准测试和数据集，旨在评估和统一跨感知和记忆等各种任务的交互式世界模型的测试。第三项研究强调了动作-状态一致性（超越视觉真实性）对于诊断WAMs可靠性的重要性，并提出了一种无价值共识策略来增强规划。