robot manipulation
PulseAugur coverage of robot manipulation — every cluster mentioning robot manipulation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的自校正方法增强了交错多模态生成
研究人员推出了一种名为自校正优化（SCO）的新型无需训练的方法，旨在增强交错图像-文本内容的生成。该方法通过在新的事件和状态保持约束下应用最小的自校正，解决了当前多模态大语言模型（MLLMs）在时间一致性和视觉主体保持方面的局限性，而无需昂贵的数据增强。SCO在基准测试中表现出显著的改进，并显示出在视频生成和机器人操作等物理基础过程中的应用潜力。
-
新型SNAP模型通过新视角合成增强几何表示学习
研究人员开发了SNAP，一种新颖的自监督Transformer模型，可从新视角合成中改进几何表示学习。通过采用姿态条件局部解码器和潜在空间重建目标，SNAP避免了空间表达性解码器引起的表示稀释以及低级像素空间目标的特征学习限制。该模型在视觉定位、姿态估计和机器人操作等各种任务中表现出竞争力，尽管计算和数据需求较低，但仍优于一些监督方法。
-
3DWay方法通过3D一致性航点增强机器人操作
研究人员开发了一种名为3DWay的新方法，通过从多视图图像预测3D一致性航点来改进机器人操作。该方法解决了现有基于轨迹的表示中固有的3D歧义问题，这些表示通常在2D图像空间中运行。通过重新构建航点预测和使用几何三角测量，3DWay能够显式指定3D运动，从而增强空间基础和视觉语言推理能力，以实现机器人操作任务的更好泛化。
-
新的FailBench基准揭示了视觉语言模型在机器人任务成功评估方面的不可靠性
一个名为FailBench的新基准已被开发出来，用于评估视觉语言模型（VLMs）在判断机器人任务成功方面的可靠性。该基准包含2,197次操作尝试，结果显示，即使是表现最好的VLM，在检测机器人故障方面的平衡准确率也仅为0.77。针对故障检测进行微调的模型表现不如通用VLMs，并且在需要精细视觉证据的任务（如组装）上，它们的性能显著下降。研究人员发现，在模糊情况下存在预测成功的偏见，尽管空间定位等输入级干预显示出改进的潜力。
-
机器人研究在跨具身技能迁移方面取得进展 · 跟踪4个来源
研究人员开发了新的方法来改进机器人领域的跨具身迁移，使模型能够将在不同机器人形态上学习到的操作技能进行泛化。一种方法，“通过行为对齐表示进行跨具身迁移”，利用了视觉语言动作（VLA）模型中的末端执行器轨迹等表示，在模拟到现实的迁移中显示出28%的改进。另一种方法，“ContactFlow”，引入了一种基于3D接触点轨迹的具身无关动作表示，该表示允许在多样化的人类和机器人交互数据上训练世界模型，并展示了在不同机器人具身之间的成功迁移。
-
新框架利用大型模型自动化机器人操作控制
研究人员推出了一种名为CABTO的新型框架，旨在自动化机器人操作中完整且一致的行为树（BT）系统的构建。该系统解决了BT基础化（grounding）的挑战，传统上这需要大量的专家知识和手动工作来定义动作模型和控制策略。CABTO利用预训练的大型模型（LM）来高效搜索这些组件，并以BT规划器提供的上下文反馈和环境观察为指导。在各种机器人操作任务上的实验结果证明了CABTO在生成功能性BT系统方面的有效性。
-
机器人研究探索新的自监督和SSM用于模仿学习 · 跟踪2个来源
两篇新研究论文探讨了改进机器人强化学习的高级技术。第一篇，时间自模仿学习（TSIL），提出一种方法，利用成功机器人轨迹的时间效率作为自监督信号，提高各种操作任务的学习效率和鲁棒性。第二篇论文RoboSSM提出使用状态空间模型（SSMs）代替Transformer进行上下文模仿学习，展示了机器人处理具有有限演示的长时任务的改进的可扩展性和泛化能力。
-
新的PATCH系统增强了机器人操作的稳定性
研究人员开发了PATCH，一个用于在真实环境中监控机器人操作任务的新系统。这个动作块条件潜在块创新监控器旨在通过检测和响应意外场景动态来提高基于学习的操作策略的鲁棒性。PATCH在活动动作块内预测潜在块的演变，并累积残差以生成局部干预信号，当局部创新消退时，允许执行暂停和策略恢复。在真实机器人数据上的实验表明，与现有的运行时监控器相比，PATCH提供了更稳定且与上下文相关的触发器。
-
新框架将触觉反馈集成到机器人操作模型中
研究人员开发了TacCoRL，一个将触觉反馈集成到机器人操作的视觉-语言-动作（VLA）模型中的框架。该方法利用模拟和强化学习来训练机器人更好地响应涉及接触的任务，显著提高了成功率。该系统通过学习触觉读数应如何修改动作来增强现有的VLA策略，尤其是在关键的接近失败的情况下，而无需收集大量的真实世界触觉数据。
-
新的AGRA方法改进了来自世界模型的机器人动作控制
研究人员开发了一种名为AGRA的新方法，以提高世界动作模型（WAMs）的动作控制能力。WAMs使用视频生成来预测未来场景并推导出机器人动作，但常常难以从合理的视觉未来中提取准确的动作。AGRA通过将中间视频扩散特征与语义表征对齐来解决这个问题，确保动作解码器专注于相关的交互区域并提高鲁棒性。
-
新的GPS方法通过关节部件感知增强机器人操作
研究人员引入了一种名为几何主结构（GPS）的新表示方法，用于理解机器人操作中的关节部件。该方法旨在通过抽象化物体部件的几何结构来平衡可扩展性和质量。使用了一个高效的基于VR的标注系统收集了包含234个对象的41,000帧数据集，从而训练了一个可泛化的GPS模型，在物体操作任务中取得了73%的成功率。
-
新的GPS表示通过VR数据增强机器人操作
研究人员引入了一种名为几何主结构（GPS）的新几何表示，用于通过感知关节部件来改进机器人操作。该方法利用虚拟现实进行高效数据收集，可在短时间内获得高质量的标注。开发的GPS模型在41K帧的数据集上进行训练，在无需领域内微调的情况下，在物体操作任务中取得了73%的成功率。
-
新的4D模型通过几何约束增强机器人操作能力
研究人员通过增强具有几何理解能力的视频世界模型，开发了新的机器人操作方法。GEM-4D将4D对应监督注入生成模型，以确保运动一致性和物理基础，将实际操作成功率从61%提高到81%。另外，GAF使用高斯动作场来表示4D中的动态场景，从而能够直接从感知运动的表示中进行动作推理，并将操作成功率提高了7.3%。这两种方法都旨在弥合逼真视频生成与可靠机器人任务执行之间的差距。
-
ComPose 利用手部运动作为线索来跟踪物体
研究人员开发了 ComPose，一个用于从 RGB 视频进行 6DoF 物体跟踪的新框架，该框架独特地利用手部运动作为补充线索。ComPose 没有仅仅将手视为遮挡物，而是将手部关节信息与来自基础模型的物体线索相结合来估计运动。这种方法提高了准确性和鲁棒性，尤其是在手部严重遮挡和几何模糊的情况下，并且可以迁移到下游机器人操作任务。
-
新的MoLA方法将机器人视频想象与动作执行相结合
研究人员开发了一种名为MoLA（潜在动作混合）的新方法，通过更好地利用预测的未来视频帧来改进机器人操作。MoLA采用预训练的逆动力学模型混合，将这些想象的未来转化为可执行的动作。该方法捕捉各种视觉线索以推断物理上合理的动作，从而弥合了视频生成与策略执行之间的差距。在模拟和真实世界任务上的评估表明，MoLA提高了任务成功率、时间一致性和泛化能力。