robot manipulation
PulseAugur coverage of robot manipulation — every cluster mentioning robot manipulation across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
InertialWorld模型通过显式惯性先验增强视频预测
研究人员推出了一种新颖的惯性视频世界模型InertialWorld,旨在解决现有模型在视频预测中处理运动和结构连续性方面的局限性。与隐式处理连续性的先前模型不同,InertialWorld显式地将惯性作为结构先验。它利用具有欧拉网格和拉格朗日载体的惯性记忆系统来跨时间保存和传输场景证据,从而在机器人操作和开放世界导航等领域实现更稳定的自回归展开和有竞争力的性能。
-
新的TOPS方法通过自适应先验增强多任务机器人操作
研究人员开发了TOPS(面向任务的先验和调度),一种用于语言条件多任务机器人操作的新颖方法。TOPS在不改变网络架构的情况下,为单个任务调整流源先验和插值调度。该方法构建多模态任务源,并根据源-目标协方差不匹配调整向专家动作的过渡速度。在LIBERO和CALVIN等基准测试上的实验显示成功率和数据效率显著提高,实际测试也证明了任务完成能力的增强。
-
RoboReason 增强机器人操作任务的VLM推理能力
研究人员推出 RoboReason,一种用于增强机器人应用中视觉语言模型(VLM)推理能力的新方法。研究强调,当前最先进的 VLM 在机器人操作至关重要的空间和时间排序任务方面存在困难。为解决此问题,RoboReason 利用可扩展的数据生成流程进行监督微调和强化学习,显著提高了 VLM 在这些关键任务上的性能。
-
TRIAGE方法通过优化令牌处理来提高机器人VLA模型的效率
研究人员开发了一种名为TRIAGE的新方法,以提高机器人中使用的视觉-语言-动作(VLA)模型的效率。这些模型将视觉输入和语言指令转化为机器人动作,在嵌入式系统上运行时经常面临延迟问题。TRIAGE通过智能地决定是重新计算还是重用视觉令牌的缓存数据(基于其“漂移”——自缓存以来其值的变化)来优化此过程。这种方法在NVIDIA Jetson AGX Orin等硬件上将预填充延迟最多降低了48%,同时保持了接近完全重新计算的性能。
-
DiscoDemo 使用强化学习生成多样化的机器人操作数据
研究人员开发了 DiscoDemo,这是一种利用强化学习生成多样化且成功的机器人操作轨迹的新方法。该方法旨在克服传统行为克隆的局限性,后者对训练数据的覆盖范围高度敏感。通过使用逆向课程和多样性目标来训练一个潜在条件强化学习生成器,DiscoDemo 能够生成多种成功的行为,这些行为可以被过滤并导出为数据集。生成的演示在下游视觉运动策略方面显示出显著的改进,无论是在模拟还是在真实机器人上,与基线方法相比,成功率都大大提高。
-
从人类视频中学习具身感知,增强机器人操作能力
研究人员开发了AffordanceWAM,一种新颖的机器人操作方法,该方法利用从人类视频中提取的具身感知表示。这种方法使机器人能够联合预测未来场景和动作,显著增强它们转移操作技能的能力,而无需明确的人类动作标签。
-
新的自校正方法增强了交错多模态生成
研究人员推出了一种名为自校正优化(SCO)的新型无需训练的方法,旨在增强交错图像-文本内容的生成。该方法通过在新的事件和状态保持约束下应用最小的自校正,解决了当前多模态大语言模型(MLLMs)在时间一致性和视觉主体保持方面的局限性,而无需昂贵的数据增强。SCO在基准测试中表现出显著的改进,并显示出在视频生成和机器人操作等物理基础过程中的应用潜力。
-
新型SNAP模型通过新视角合成增强几何表示学习
研究人员开发了SNAP,一种新颖的自监督Transformer模型,可从新视角合成中改进几何表示学习。通过采用姿态条件局部解码器和潜在空间重建目标,SNAP避免了空间表达性解码器引起的表示稀释以及低级像素空间目标的特征学习限制。该模型在视觉定位、姿态估计和机器人操作等各种任务中表现出竞争力,尽管计算和数据需求较低,但仍优于一些监督方法。
-
3DWay方法通过3D一致性航点增强机器人操作
研究人员开发了一种名为3DWay的新方法,通过从多视图图像预测3D一致性航点来改进机器人操作。该方法解决了现有基于轨迹的表示中固有的3D歧义问题,这些表示通常在2D图像空间中运行。通过重新构建航点预测和使用几何三角测量,3DWay能够显式指定3D运动,从而增强空间基础和视觉语言推理能力,以实现机器人操作任务的更好泛化。
-
新的FailBench基准揭示了视觉语言模型在机器人任务成功评估方面的不可靠性
一个名为FailBench的新基准已被开发出来,用于评估视觉语言模型(VLMs)在判断机器人任务成功方面的可靠性。该基准包含2,197次操作尝试,结果显示,即使是表现最好的VLM,在检测机器人故障方面的平衡准确率也仅为0.77。针对故障检测进行微调的模型表现不如通用VLMs,并且在需要精细视觉证据的任务(如组装)上,它们的性能显著下降。研究人员发现,在模糊情况下存在预测成功的偏见,尽管空间定位等输入级干预显示出改进的潜力。
-
机器人研究在跨具身技能迁移方面取得进展 · 跟踪4个来源
研究人员开发了新的方法来改进机器人领域的跨具身迁移,使模型能够将在不同机器人形态上学习到的操作技能进行泛化。一种方法,“通过行为对齐表示进行跨具身迁移”,利用了视觉语言动作(VLA)模型中的末端执行器轨迹等表示,在模拟到现实的迁移中显示出28%的改进。另一种方法,“ContactFlow”,引入了一种基于3D接触点轨迹的具身无关动作表示,该表示允许在多样化的人类和机器人交互数据上训练世界模型,并展示了在不同机器人具身之间的成功迁移。
-
新框架利用大型模型自动化机器人操作控制
研究人员推出了一种名为CABTO的新型框架,旨在自动化机器人操作中完整且一致的行为树(BT)系统的构建。该系统解决了BT基础化(grounding)的挑战,传统上这需要大量的专家知识和手动工作来定义动作模型和控制策略。CABTO利用预训练的大型模型(LM)来高效搜索这些组件,并以BT规划器提供的上下文反馈和环境观察为指导。在各种机器人操作任务上的实验结果证明了CABTO在生成功能性BT系统方面的有效性。
-
机器人研究探索新的自监督和SSM用于模仿学习 · 跟踪2个来源
两篇新研究论文探讨了改进机器人强化学习的高级技术。第一篇,时间自模仿学习(TSIL),提出一种方法,利用成功机器人轨迹的时间效率作为自监督信号,提高各种操作任务的学习效率和鲁棒性。第二篇论文RoboSSM提出使用状态空间模型(SSMs)代替Transformer进行上下文模仿学习,展示了机器人处理具有有限演示的长时任务的改进的可扩展性和泛化能力。
-
新的PATCH系统增强了机器人操作的稳定性
研究人员开发了PATCH,一个用于在真实环境中监控机器人操作任务的新系统。这个动作块条件潜在块创新监控器旨在通过检测和响应意外场景动态来提高基于学习的操作策略的鲁棒性。PATCH在活动动作块内预测潜在块的演变,并累积残差以生成局部干预信号,当局部创新消退时,允许执行暂停和策略恢复。在真实机器人数据上的实验表明,与现有的运行时监控器相比,PATCH提供了更稳定且与上下文相关的触发器。
-
新框架将触觉反馈集成到机器人操作模型中
研究人员开发了TacCoRL,一个将触觉反馈集成到机器人操作的视觉-语言-动作(VLA)模型中的框架。该方法利用模拟和强化学习来训练机器人更好地响应涉及接触的任务,显著提高了成功率。该系统通过学习触觉读数应如何修改动作来增强现有的VLA策略,尤其是在关键的接近失败的情况下,而无需收集大量的真实世界触觉数据。
-
新的AGRA方法改进了来自世界模型的机器人动作控制
研究人员开发了一种名为AGRA的新方法,以提高世界动作模型(WAMs)的动作控制能力。WAMs使用视频生成来预测未来场景并推导出机器人动作,但常常难以从合理的视觉未来中提取准确的动作。AGRA通过将中间视频扩散特征与语义表征对齐来解决这个问题,确保动作解码器专注于相关的交互区域并提高鲁棒性。
-
新的GPS方法通过关节部件感知增强机器人操作
研究人员引入了一种名为几何主结构(GPS)的新表示方法,用于理解机器人操作中的关节部件。该方法旨在通过抽象化物体部件的几何结构来平衡可扩展性和质量。使用了一个高效的基于VR的标注系统收集了包含234个对象的41,000帧数据集,从而训练了一个可泛化的GPS模型,在物体操作任务中取得了73%的成功率。
-
新的GPS表示通过VR数据增强机器人操作
研究人员引入了一种名为几何主结构(GPS)的新几何表示,用于通过感知关节部件来改进机器人操作。该方法利用虚拟现实进行高效数据收集,可在短时间内获得高质量的标注。开发的GPS模型在41K帧的数据集上进行训练,在无需领域内微调的情况下,在物体操作任务中取得了73%的成功率。
-
新的4D模型通过几何约束增强机器人操作能力
研究人员通过增强具有几何理解能力的视频世界模型,开发了新的机器人操作方法。GEM-4D将4D对应监督注入生成模型,以确保运动一致性和物理基础,将实际操作成功率从61%提高到81%。另外,GAF使用高斯动作场来表示4D中的动态场景,从而能够直接从感知运动的表示中进行动作推理,并将操作成功率提高了7.3%。这两种方法都旨在弥合逼真视频生成与可靠机器人任务执行之间的差距。
-
ComPose 利用手部运动作为线索来跟踪物体
研究人员开发了 ComPose,一个用于从 RGB 视频进行 6DoF 物体跟踪的新框架,该框架独特地利用手部运动作为补充线索。ComPose 没有仅仅将手视为遮挡物,而是将手部关节信息与来自基础模型的物体线索相结合来估计运动。这种方法提高了准确性和鲁棒性,尤其是在手部严重遮挡和几何模糊的情况下,并且可以迁移到下游机器人操作任务。