Robot Foundation Models
PulseAugur coverage of Robot Foundation Models — every cluster mentioning Robot Foundation Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
RoboTryOn 从人类视频合成机器人演示
研究人员开发了 RoboTryOn,一个利用虚拟试穿方法从人类视频合成机器人演示的新颖系统。该方法将人类动作转化为机器人动作,保留了原始任务、物体和背景。实验表明,使用 RoboTryOn 的合成数据训练的策略在执行新任务(包括复杂双臂操作)时显著提高了成功率,并且在数据收集成本的一小部分下,实现了与在真实机器人演示上训练的策略相当的性能。
-
ACCRUE框架加速机器人学习,跨任务保留技能 · 跟踪2个来源
研究人员开发了ACCRUE,一个新颖的持续性离轨强化学习框架,旨在增强机器人基础模型(RFMs)。ACCRUE使机器人在学习新任务时能够高效地进行,同时保留先前获得的技能,解决了现有同策略和离策略方法的局限性。该框架通过跨任务携带轻量级的actor和critic网络来实现这一点,从而实现知识重用和适应,显著减少了现实世界机器人的训练时间并最大限度地减少了遗忘。
-
新的ARC方法在无需更多数据的情况下提升了机器人基础模型的性能
研究人员开发了一种名为ARC的新方法,该方法可在无需额外机器人演示或大量训练的情况下,提升机器人基础模型(RFMs)的零样本任务性能。ARC利用推理轨迹来解释机器人下一个动作背后的因果结构和原理。这些轨迹可以从现有演示中自动生成,从而能够创建像DROID的ARC-Trace-DROID这样的数据集。最先进的视觉语言代理(VLAs)和其他模型已被改编为使用这些轨迹,在RoboLab-120和MolmoSpaces等基准测试中取得了显著的…
-
新论文对生成式物理人工智能方法进行分类
一篇新的arXiv论文对生成式物理人工智能(GPAI)进行了全面综述。GPAI是将大型基础模型与物理机器人相结合的领域。该论文将GPAI系统分为五种方法:机器人基础模型(RFMs)、视觉-语言-动作(VLA)模型、大型行为模型(LBMs)、扩散策略模型(DPMs)和世界基础模型(WFMs)。文章详细介绍了这些方法如何结合以增强各行业的机器人应用,包括自动驾驶汽车和医疗保健,同时还强调了模拟到真实迁移和安全性等领域的研究方向。
-
新调查界定了机器人基础模型的“具身鸿沟”
一篇新发表在arXiv上的调查论文介绍了机器人基础模型(RFMs)中的“具身鸿沟”概念。该鸿沟指的是可复用模型与其在特定机器人上的实际部署之间的差异。论文探讨了现有方法如何在不同的机器人具身之间共享,并强调了适应性工作所需的内容。它提出了一个用于报告适应性工作的框架,强调仅凭成功率并不能完全捕捉跨具身学习的挑战。
-
新框架通过人类视频引导机器人模型
研究人员开发了WAM-TTT,一个旨在利用人类游玩视频来引导机器人基础模型(RFMs)的新框架。该方法无需额外的机器人演示或特定任务的微调即可进行适应。WAM-TTT利用自监督视频预测,将人类视频整合到冻结的世界动作模型(WAM)中的自适应记忆中,从而实现对各种操作任务的高效且可重用的引导。
-
新的SC3-Eval方法使用视频生成来评估机器人基础模型
研究人员开发了SC3-Eval,一种通过自洽视频生成来评估机器人基础模型的新颖方法。该方法通过模拟策略回放来解决现实世界机器人测试的局限性,而策略回放可能既昂贵又耗时。SC3-Eval强制执行三种一致性——前向-逆向动力学、跨视图和测试时一致性——以确保准确性并泛化到未见过的策略。该方法表现强劲,与现实世界结果高度相关,并优于现有的基于视频模型的基线。