Open X-Embodiment: Robotic Learning Datasets and RT-X Models : Open X-Embodiment Collaboration<sup>0</sup>
PulseAugur coverage of Open X-Embodiment: Robotic Learning Datasets and RT-X Models : Open X-Embodiment Collaboration0 — every cluster mentioning Open X-Embodiment: Robotic Learning Datasets and RT-X Models : Open X-Embodiment Collaboration0 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
机器人 VLA 模型通过使用行动上下文进行计算，速度提升 1.79 倍
研究人员开发了一个名为 AC²-VLA 的新框架，以显著加速机器人中使用的视觉语言行动 (VLA) 模型。与以往专注于优化视觉处理的方法不同，AC²-VLA 利用机器人的行动上下文动态调整计算。这种方法能够智能地修剪视觉标记，跳过不必要的 Transformer 层，并在适当的时候重用之前的计算，从而在不牺牲准确性的情况下将推理速度提高了 1.79 倍。该框架在 SIMPLER 基准测试上进行了评估，其性能优于现有模型，并展示了在边缘…
-
机器人学习人类动作：连接视频数据与机器人控制的四种方法 · 跟踪 1 个来源
清华大学、香港科技大学和微软亚洲研究院的联合论文提出了一种统一的框架，使机器人能够从人类视频中学习人类动作。该研究确定了四种主要方法：潜在动作、显式二维轨迹、显式三维轨迹和世界模型，所有这些都旨在构建人类动作与机器人控制信号之间的“表示桥梁”。虽然世界模型被视为泛化的有希望的方向，但目前的实际演示通常依赖于结合了强化学习的视觉-语言-动作（VLA）模型，这凸显了在为具身人工智能寻找最佳“配方”方面仍然存在挑战。
-
TOPReward 使用 VLM 令牌概率进行机器人学习奖励
研究人员开发了 TOPReward，这是一种新颖的方法，可以在无需手动注释或特定任务奖励模型的情况下，为机器人学习生成密集的、指令驱动的反馈。该方法利用预训练视频语言模型 (VLM) 的内部令牌概率来衡量任务进度，有效地将潜在理解转化为可用的奖励信号。TOPReward 在真实世界操作基准和 Open X-Embodiment 数据集上表现强劲，优于其他无需训练的 VLM 奖励方法，并显示出与训练奖励模型的竞争力。
-
机器人难以弥合与大型语言模型相比的现实世界数据差距
与受益于互联网浩瀚数据的生成式AI不同，物理AI的发展目前受到现实世界训练数据缺乏的瓶颈。公司正试图通过大规模远程操作农场（人类在其中通过重复性任务操控机器人）和先进的模拟来弥合这一差距。然而，模拟仍然难以复制现实世界环境的复杂性，导致机器人在干净、预设演示中不存在的边缘情况下失败。
-
机器人研究在操作、AI、安全和泛化方面取得进展
研究人员正在开发先进的机器人操作方法，重点是提高泛化性、安全性和效率。BiCICLe 等新框架利用上下文学习来执行双臂任务，而 Ambient Diffusion Policy 和 GHOST 则增强了从次优或多样化数据中进行模仿学习的能力。其他方法，如 WorldDP 和 Latent Diffusion Policy，则使用分层结构和世界模型来处理复杂的多阶段任务。此外，PACT 和一项关于安全具身AI的调查，解决了机器人系统在物…
-
SPEAR-1: 通过3D理解实现超越机器人演示的扩展
研究人员开发了SPEAR-1，这是一种机器人基础模型，旨在通过整合3D空间推理来提高机器人控制的泛化能力。与先前主要在2D图像-语言任务上训练的模型不同，SPEAR-1通过使用带有3D注释增强的非机器人数据获得的3D理解来增强视觉-语言模型。这种方法使SPEAR-1能够使用显著更少的机器人演示来实现最先进的性能，其表现优于$\pi_0$-FAST和$\pi_{0.5}$等模型，同时所需的机器人数据样本减少了20倍。