robot manipulation
PulseAugur coverage of robot manipulation — every cluster mentioning robot manipulation across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新框架利用大型模型自动化机器人操作控制
研究人员推出了一种名为CABTO的新型框架，旨在自动化机器人操作中完整且一致的行为树（BT）系统的构建。该系统解决了BT基础化（grounding）的挑战，传统上这需要大量的专家知识和手动工作来定义动作模型和控制策略。CABTO利用预训练的大型模型（LM）来高效搜索这些组件，并以BT规划器提供的上下文反馈和环境观察为指导。在各种机器人操作任务上的实验结果证明了CABTO在生成功能性BT系统方面的有效性。
-
机器人研究探索新的自监督和SSM用于模仿学习 · 跟踪2个来源
两篇新研究论文探讨了改进机器人强化学习的高级技术。第一篇，时间自模仿学习（TSIL），提出一种方法，利用成功机器人轨迹的时间效率作为自监督信号，提高各种操作任务的学习效率和鲁棒性。第二篇论文RoboSSM提出使用状态空间模型（SSMs）代替Transformer进行上下文模仿学习，展示了机器人处理具有有限演示的长时任务的改进的可扩展性和泛化能力。
-
新的PATCH系统增强了机器人操作的稳定性
研究人员开发了PATCH，一个用于在真实环境中监控机器人操作任务的新系统。这个动作块条件潜在块创新监控器旨在通过检测和响应意外场景动态来提高基于学习的操作策略的鲁棒性。PATCH在活动动作块内预测潜在块的演变，并累积残差以生成局部干预信号，当局部创新消退时，允许执行暂停和策略恢复。在真实机器人数据上的实验表明，与现有的运行时监控器相比，PATCH提供了更稳定且与上下文相关的触发器。
-
新框架将触觉反馈集成到机器人操作模型中
研究人员开发了TacCoRL，一个将触觉反馈集成到机器人操作的视觉-语言-动作（VLA）模型中的框架。该方法利用模拟和强化学习来训练机器人更好地响应涉及接触的任务，显著提高了成功率。该系统通过学习触觉读数应如何修改动作来增强现有的VLA策略，尤其是在关键的接近失败的情况下，而无需收集大量的真实世界触觉数据。
-
新的AGRA方法改进了来自世界模型的机器人行动控制
研究人员开发了一种名为AGRA的新方法，以提高世界行动模型（WAMs）的行动控制能力。WAMs使用视频生成来预测未来场景并推导出机器人动作，但常常难以从可行的视觉未来中提取准确的动作。AGRA通过将中间视频扩散特征与语义表征对齐来解决这个问题，确保动作解码器专注于相关的交互区域并提高鲁棒性。
-
新的GPS方法通过关节部件感知增强机器人操作
研究人员引入了一种名为几何主结构（GPS）的新表示方法，用于理解机器人操作中的关节部件。该方法旨在通过抽象化物体部件的几何结构来平衡可扩展性和质量。使用了一个高效的基于VR的标注系统收集了包含234个对象的41,000帧数据集，从而训练了一个可泛化的GPS模型，在物体操作任务中取得了73%的成功率。
-
新的GPS表示通过VR数据增强机器人操作
研究人员引入了一种名为几何主结构（GPS）的新几何表示，用于通过感知关节部件来改进机器人操作。该方法利用虚拟现实进行高效数据收集，可在短时间内获得高质量的标注。开发的GPS模型在41K帧的数据集上进行训练，在无需领域内微调的情况下，在物体操作任务中取得了73%的成功率。
-
新的4D模型通过几何约束增强机器人操作能力
研究人员通过增强具有几何理解能力的视频世界模型，开发了新的机器人操作方法。GEM-4D将4D对应监督注入生成模型，以确保运动一致性和物理基础，将实际操作成功率从61%提高到81%。另外，GAF使用高斯动作场来表示4D中的动态场景，从而能够直接从感知运动的表示中进行动作推理，并将操作成功率提高了7.3%。这两种方法都旨在弥合逼真视频生成与可靠机器人任务执行之间的差距。
-
ComPose 利用手部运动作为线索来跟踪物体
研究人员开发了 ComPose，一个用于从 RGB 视频进行 6DoF 物体跟踪的新框架，该框架独特地利用手部运动作为补充线索。ComPose 没有仅仅将手视为遮挡物，而是将手部关节信息与来自基础模型的物体线索相结合来估计运动。这种方法提高了准确性和鲁棒性，尤其是在手部严重遮挡和几何模糊的情况下，并且可以迁移到下游机器人操作任务。
-
新的MoLA方法将机器人视频想象与动作执行相结合
研究人员开发了一种名为MoLA（潜在动作混合）的新方法，通过更好地利用预测的未来视频帧来改进机器人操作。MoLA采用预训练的逆动力学模型混合，将这些想象的未来转化为可执行的动作。该方法捕捉各种视觉线索以推断物理上合理的动作，从而弥合了视频生成与策略执行之间的差距。在模拟和真实世界任务上的评估表明，MoLA提高了任务成功率、时间一致性和泛化能力。