Robotic Manipulation
PulseAugur coverage of Robotic Manipulation — every cluster mentioning Robotic Manipulation across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
$R^3$ 训练机器人进行自然语言推理以完成操作任务
研究人员开发了一种名为 $R^3$ 的新方法，该方法训练视觉语言模型 (VLM) 以在机器人操作任务中进行自然语言推理。这种训练后技术涉及在中期使用专家推理轨迹对 VLM 进行训练，然后通过从离线动作数据中进行强化学习来对其进行优化。 $R^3$ 方法旨在通过使用自由形式的语言推理来指导低级策略，使机器人能够处理复杂的、长期的任务，在 Language Table 和杂货打包等基准测试中，与模仿学习基线相比，表现出更好的探索和泛化能力。
-
Robo-Dopamine 2.0 通过历史感知奖励增强机器人操作
研究人员开发了 Robo-Dopamine 2.0，这是一种先进的过程奖励模型，旨在通过解决当前视觉-语言-动作 (VLA) 模型的局限性来改进机器人操作。该新模型结合了历史条件化和分布外 (OOD) 感知奖励，利用参考面板和观察到的滚动历史来更好地区分有效进展和任务无效失败。一种新颖的、具有转换感知重放的 Signed-Hop Curriculum 有助于学习，从而在视觉顺序一致性和下游强化学习任务（包括成功的现实世界插入）方面取得显著改进。
-
新的RCI框架通过稀疏反馈增强安全离线强化学习
研究人员开发了一个名为基于重分配的成本推断（RCI）的新框架，以改进安全离线强化学习。该方法通过将轨迹级别的停止信号转换为密集的每步成本标注来解决稀疏反馈的挑战。RCI框架在理论上保留了最优策略集，同时在实践中增强了成本Critic的学习。在高速公路驾驶和机器人操作任务上的实验表明，与现有基线相比，RCI显著降低了违规率。
-
新的RESample框架通过失败恢复数据改进机器人操作
研究人员开发了RESample，一个新颖的数据增强框架，旨在提高视觉-语言-动作（VLA）模型在机器人操作任务中的性能。该框架通过主动补充包含失败模式和后续恢复动作的轨迹来解决分布偏移和失败恢复问题。通过训练一个覆盖函数来识别数据分布中缺失的失败案例，RESample指导探索性采样来生成这些关键轨迹。在LIBERO基准和真实机器人任务上的实验表明，RESample显著提高了策略成功率，在训练数据适度增加的情况下，绝对增幅高达12%。
-
机器人研究识别并纠正指令偏差，以提高泛化能力
研究人员开发了一个新的诊断框架，用于识别和量化机器人操作策略中的指令因子偏差。这种偏差是指策略过度依赖颜色等主导线索，而不是基于语言进行理解，其测量指标包括因子主导率（FDR）和因子主导层级（FDH）。对六个基础策略的评估显示，颜色是最主导的因子，动词/尺寸是最不被理解的因子，存在一致的层级关系。通过重新分配资源给理解不足的因子，一种有偏差意识的数据收集策略在模拟和真实机器人上都证明了更高的样本效率和泛化能力。
-
ConceptTree框架增强机器人操作决策的透明度
研究人员开发了ConceptTree，一个旨在为机器人操作中的决策过程带来语义透明度的新框架。该方法将技能选择重新构建为对人类可解释的概念进行推理，使用在视觉输入上训练的决策树来预测高级技能。ConceptTree旨在使机器人决策可追溯和可干预，允许直接检查和修改策略行为，而无需重新训练。在真实世界任务上的评估表明，ConceptTree的性能优于现有的基于概念的基线，尤其是在复杂、长周期的场景中。
-
DA-Fusion Transformer 提升未见物体分割能力，助力物流业
研究人员开发了DA-Fusion，一种新颖的Transformer模型，它利用可变形注意力来融合RGB和深度数据，以改进未见过的物体实例分割。这项进展对于物流自动化任务（如箱式抓取和货架式抓取）尤其有益，因为在这些任务中，在混乱环境中精确识别物体至关重要。该团队还引入了物体混乱箱数据集（Object Clutter Bin Dataset, OCBD）来评估这些场景下的性能基准，证明了DA-Fusion在准确性方面优于现有方法。
-
新研究解决机器人操作的鲁棒性和验证问题
两篇新研究论文解决了改进机器人操作鲁棒性和验证的挑战。第一篇论文《机器人操作的鲁棒性：基础与前沿》提出了操作鲁棒性的正式定义和系统研究，综合了感知、规划和控制等各个子领域的原理。第二篇论文介绍了“临界区间均方误差”（CI-MSE），这是一种离线验证指标，旨在比传统的均方误差（MSE）更好地与现实世界机器人策略性能相关联。CI-MSE 将误差计算限制在任务关键型片段，并纳入了动作对齐程序，与原始 MSE 相比，在秩相关性方面显示出显著的改进。
-
新的AISPO框架提高了机器人对挑战性物体的深度可靠性
研究人员开发了AISPO，一个新颖的深度补全框架，旨在提高机器人操作的深度可靠性，特别是在处理透明或镜面等具有挑战性的非朗伯体物体时。该框架集成了多尺度RGB-D特征融合和仿射不变形状先验，以确保几何一致性并防止显著的深度误差。AISPO系统在其深度预测中优先考虑物理合理性和结构完整性，在各种基准测试和真实抓取实验中表现出竞争性的性能和泛化能力，从而提高了操作成功率。
-
新框架使机器人无需重新训练即可适应新环境
研究人员引入了情境世界模型（ICWM），这是一个旨在提高机器人策略适应性的新框架。ICWM将系统识别视为一种情境适应问题，使机器人能够在无需参数更新的情况下，从自我生成的交互中推断出关键系统变量。这种方法使策略能够理解当前系统的动态并适应新颖的配置，例如不同的摄像头视角，在实验中表现优于标准的视觉-语言-动作模型。
-
Flow6D 框架提升 6D 位姿估计的准确性和速度
研究人员开发了 Flow6D，一种用于 6D 位姿估计的新型框架，解决了类别级估计的准确性和效率方面的挑战。该方法采用两阶段方法，首先将旋转和平移离散化为 bin 以定位潜在空间，然后使用连续流匹配模型来优化位姿估计。这种分层策略实现了 70 FPS 的实时推理，并在合成和真实世界数据集上均优于现有方法，在机器人操作和增强现实领域具有潜在应用。
-
AdaReP系统降低了神经世界模型预测控制的计算开销
研究人员开发了AdaReP，一种用于神经世界模型预测控制系统的新型封装器。AdaReP通过智能重用缓存的规划来解决每一步重新规划相关的计算开销。它使用基于扰动的动态遗憾框架来分析过时规划的权衡，并在线调整重规划容差。这种方法显著降低了图像空间规划、潜在空间控制和机器人操作等任务的计算需求，一项物理机器人研究显示规划器查询次数减少了80%以上。
-
新研究增强了用于机器人和视觉推理的VLA模型
近期研究探索了增强用于机器人操作和通用视觉推理的视觉-语言-动作（VLA）模型。研究通过域随机化和照片级真实感渲染来研究模拟到现实的泛化能力，并提出诸如 Faithful Warm-Start 等方法，通过在强化学习前确保视觉保真度来提高VLM推理的稳定性。其他工作引入了置信度驱动的测试时强化学习，无需外部奖励即可实现自我改进，以及状态感知分词器，以更好地从离散代码中解码动作。此外，研究还检查了VLA模型中的架构冗余，发现语言骨干对于…
-
机器人框架IMPACT提升强制操控和泛化能力
研究人员开发了IMPACT，一个用于机器人操控的新框架，可提高需要强制交互的任务的性能。该系统将任务规划与内部模型预测控制分离，使机器人能够更好地处理不同重量的物体并执行富含接触的任务。实验表明，与以前的方法相比，IMPACT实现了更高的成功率、更好的泛化能力以及更高的安全性和能源效率。
-
GEAR-VLA框架增强机器人操作泛化能力
研究人员开发了GEAR-VLA，一个旨在提高视觉-语言-动作（VLA）模型在机器人操作任务中泛化能力的新框架。该方法通过学习统一的、几何感知的动作表征来解决当前VLA模型的局限性。GEAR-VLA采用粗粒到细粒的学习策略，整合了具身预训练与连续动作专家，并将3D空间骨干网络与VLA表征对齐。该框架还纳入了具身规范化，以实现跨机器人泛化，在多个基准测试中展示了最先进的性能，并在涉及未知物体和不同机器人具身特性的任务中取得了高成功率。
-
机器人研究在操作、AI、安全和泛化方面取得进展
研究人员正在开发先进的机器人操作方法，重点是提高泛化性、安全性和效率。BiCICLe 等新框架利用上下文学习来执行双臂任务，而 Ambient Diffusion Policy 和 GHOST 则增强了从次优或多样化数据中进行模仿学习的能力。其他方法，如 WorldDP 和 Latent Diffusion Policy，则使用分层结构和世界模型来处理复杂的多阶段任务。此外，PACT 和一项关于安全具身AI的调查，解决了机器人系统在物…
-
新框架评估机器人策略超越任务成功
研究人员开发了一个新的框架来评估机器人操作策略，特别是比较视觉-语言-动作（VLA）模型与世界-动作模型（WAMs）。该框架分析了机器人的可观察行为及其内部表征。结果表明，虽然WAMs通常能改进任务特定动作，但其益处因架构而异，并可能增加计算成本。研究表明，顺序WAMs能更好地捕捉预测结构，为设计更高效的机器人控制系统提供了见解。
-
新基准测试机器人操作模型的可信度
研究人员开发了新的基准来评估用于机器人操作的视频世界模型的可信度。这些基准使用真实的DROID片段，在正常、约束敏感、反事实和对抗性场景下评估模型。初步评估显示，尽管当前模型可以生成视觉上连贯的视频，但它们在推理约束、物理交互和抑制不安全指令方面存在困难，这表明仅凭视觉质量不足以满足可靠的机器人应用。
-
新框架使用几何引导的变形来重建3D物体
研究人员开发了一种新颖的框架，通过变形类别级形状模板，从单目图像中重建3D物体。这种几何引导的方法利用模板拓扑来增强基座特征，创建几何感知表示，然后将其与目标观测对齐以指导精确变形。该系统还包含一个视图自适应特征聚合模块，以确保跨不同视角的鲁棒对齐，在处理形状变化和泛化到新物体类别方面表现出卓越的性能，并可应用于机器人操作。
-
新框架通过结构化潜在点增强机器人视觉表示
研究人员开发了一种新的机器人操作预训练框架，该框架结合了隐式和显式表示，以创建更有效的视觉表示。这种混合方法被称为结构化潜在点，旨在通过捕获结构趋势和语义信息而不牺牲几何细节来克服现有方法的局限性。在包括真实机器人设置在内的多个平台上的评估显示，任务成功率、样本效率和鲁棒性均有所提高。