RoboMimic
PulseAugur coverage of RoboMimic — every cluster mentioning RoboMimic across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的质量份额强调方法改进了机器人世界模型
研究人员开发了一种名为质量份额强调(Mass-Share Accentuation, MSA)的新方法,以提高机器人领域中漂移世界模型(drifting world models)的动作遵循能力。这些模型帮助机器人预测其动作对规划的影响。新的MSA技术通过在半松弛最优传输问题中将当前帧视为与记录的未来竞争的目的地,来解决现有引导方法中的目标偏差问题。该方法旨在确保随着预测误差的减小,引导作用逐渐减弱,并在Push-T、RoboMimi…
-
MAC-v2 框架增强了基于像素的离线强化学习
研究人员推出 MAC-v2,一个专为基于像素的离线强化学习中的长时域模型驱动价值扩展而设计的新颖框架。该方法解决了从视觉输入中学习表示和动力学的固有难题,在这些输入中,错误会在想象的轨迹中累积。MAC-v2 利用无重建的潜在世界模型和动作分块来减轻预测误差,并学习针对预测和控制进行优化的表示,从而避免编码不相关的视觉细节。该框架在各种视觉基准测试中表现出色,包括 visual OGBench、MMBench2、Robomimic 和 …
-
新框架CuraEval优化机器人模仿学习数据选择
研究人员开发了CuraEval,一个旨在通过优化训练数据选择来改进机器人模仿学习的框架。该框架分析演示得分,以识别最具影响力的数据点,目标是超越随机选择和全数据训练。使用Diffusion Policy和BC-RNN在混合技能机器人数据上进行的实验表明,选择较短的演示可以提高成功率,尽管有效性因具体任务和评估指标而异。
-
新的机器人策略允许实时控制速度和流畅度
研究人员为机器人开发了一种质量可控策略(QCP),能够在推理时动态控制执行属性,如速度和流畅度。为了将可控质量的范围扩展到初始演示之外,QCP采用了迭代式事后重标记循环。该过程包括收集在线试验、将成功的轨迹添加到数据集中、根据测量到的质量对其进行重标记,以及微调策略。在Robomimic和RoboEval上的实验表明,QCP提高了任务执行质量和成功率,而现实世界的测试则展示了在物理部署中的实际收益,例如提高了吞吐量和稳定性。
-
新的机器人策略允许实时质量控制和迭代改进
研究人员开发了一种质量可控策略(QCP),允许机器人实时调整其执行质量,例如速度或平稳度。该策略通过迭代式事后重标记过程来提高性能,其中成功的机器人运行被添加到数据集中,并根据其测得的质量进行重标记。在模拟和真实机器人任务上的实验表明,QCP可以提高任务成功率和执行质量,超越初始演示。
-
机器人研究引入反馈世界模型以提高策略精度
研究人员开发了一种“反馈世界模型”,可提高机器人扩散策略的精度。这种新颖的推理时机制利用实时观测迭代地纠正预测,在无需额外训练数据或参数更新的情况下补偿误差。在包括真实世界场景在内的各种机器人操作任务上的实验表明,预测准确性和策略性能均得到显著提高,预测误差最多可降低 76.4%。该方法还可以作为即插即用增强功能应用于现有的基础模型。
-
新的 QF3 算法将机器人运动策略训练速度提高了 10 倍
研究人员推出了一种新颖的离策略强化学习算法 QF3(具有过滤 Q-梯度的快速流),旨在更有效地训练机器人策略。QF3 利用流匹配结合 Critic 的动作梯度,通过单步预测反向传播,来精炼预训练的流策略或从头开始学习新策略。据报道,与现有的同策略技术相比,该方法在挂钟时间上实现了 10 倍的加速,并且是第一个能够从头开始成功训练人形机器人运动策略以实现零样本硬件迁移的离策略方法。
-
新的模仿学习方法提升机器人可靠性和性能 · 追踪4个来源
研究人员正在开发新的方法来改进机器人的模仿学习,重点是通过不完美的数据来增强可靠性和性能。Rewind-IL 通过使用时间差异估计和状态重置机制,引入了一个在线故障检测和恢复框架。Disagreement-Regularized Imitation Learning (DRIL) 将策略分歧转化为强化学习奖励,在少数演示设置中显示出显著的收益。SynIL 利用运动协同作用自动评估演示质量并为离线学习生成奖励信号,在基准数据集上表现优于…
-
新的QWM框架通过世界模型增强强化学习
研究人员推出了一种新颖的QWM框架,该框架将世界模型与Q学习相结合,以提高强化学习的样本效率。该方法使用世界模型在想象的轨迹上进行测试时搜索,从而在不直接在预测状态上优化策略的情况下改进动作选择。QWM仅在真实转换上进行训练,从而避免了模型偏差的累积,并在RoboMimic和LIBERO等具有挑战性的操纵基准上展示了显著的性能提升。
-
DriftWorld模型通过更快的世界建模加速机器人规划 · 跟踪2个来源
研究人员开发了DriftWorld,一种新颖的动作条件世界模型,可显著加速机器人规划。与需要迭代去噪的基于扩散的模型不同,DriftWorld使用单次前向传播生成未来帧,速度提高了17倍以上。这种速度提升允许更广泛的动作搜索和规划,从而在各种机器人操作基准测试中取得最先进的性能。DriftWorld还可以准确地模拟机器人策略,其滚动分数与地面实况高度相关。
-
ReGuide框架通过自改进引导来改进扩散策略
研究人员开发了ReGuide,一个旨在提高行为克隆扩散策略性能的新框架,这类策略通常容易受到协变量偏移的影响。ReGuide利用相位条件引导(PCG)通过在任务执行的特定阶段应用定向引导来生成纠正性推广。然后,通过微调(ReGuide-FT)或从头开始重新训练(ReGuide-FS)将这些成功的引导式推广整合回策略中,从而实现自我改进。在RoboMimic Can、Square、Transport和Tool Hang等基准测试上的实验…
-
RE4框架增强物体交互模仿学习能力
研究人员推出RE4,一个用于物体交互任务模仿学习的新框架。RE4旨在通过重新利用已建立的操作理论来平衡性能和可解释性。该框架结合了无模型姿态估计、操作模式感知演示检索和转换,以及在遵守模式约束下的重新规划。该框架已在Push-T和Robomimic基准上进行了评估,证明了其在稀疏数据场景下的鲁棒性。
-
通过逆向动力学预测改进用于世界建模的VLM
研究人员正在探索改进视觉语言模型(VLM)在世界建模方面的预测能力的方法。一个关键挑战是VLM在正向动力学预测(根据动作生成未来状态)方面存在困难,但在逆向动力学预测(描述状态之间的动作)方面更擅长。这种不对称性正被用于通过弱监督学习(来自标注数据)和推理时验证等技术来增强VLM的性能。这些方法旨在为具身AI应用创建更强大、更准确的世界模型,其中一些方法在图像编辑和策略评估方面显示出与最先进模型相媲美的结果。
-
新研究推进机器人和LLM的策略优化
研究人员引入了几种新方法来增强强化学习中的策略优化,特别是针对涉及机器人和大型语言模型(LLM)的复杂任务。MODIP旨在通过使用世界模型来指导适应,从而高效地微调机器人学习中的扩散策略,与标准的模仿学习相比,提高了稳定性和性能。N-GRPO和T2-GRPO分别侧重于通过采用新颖的嵌入层混合和多视域奖励策略来改进LLM在数学推理和护理代理等任务中的探索和奖励分配。此外,CATPO和GenPO++通过改进基于树的方法和生成策略来提高训练…
-
新的GAP方法通过稀缺数据提升机器人操作学习能力
研究人员开发了一种新颖的方法——几何锚点预训练(GAP),以提高机器人操作视觉运动学习中的数据效率。GAP预训练一个空间适配器,从对象掩码生成稳定的几何锚点,为少样本策略学习提供可靠的坐标接口。该方法在RoboMimic和ManiSkill等具有挑战性的任务上显著优于现有方法,即使在专家演示非常有限且存在领域迁移的情况下也是如此。
-
新的流图策略加速机器人领域的生成式AI
研究人员开发了一类新的生成策略,称为流图策略,旨在加速复杂控制问题中的动作生成。这些策略学会了在生成动态中进行大跨步,与传统方法相比显著降低了推理成本。该方法,称为流图Q-引导(FMQ),优化了离线到在线强化学习的适应性,并在机器人操作和运动任务上展示了最先进的性能。
-
StereoPolicy 通过立体视觉增强机器人操作
研究人员开发了 StereoPolicy,这是一个利用同步立体图像对来增强机器人操作的新框架。该方法加强了机器人的几何推理能力,克服了单目视觉的深度感知限制,而无需显式的3D重建或相机校准。StereoPolicy 可与现有的 VLA 策略集成,并在多个模拟基准和真实机器人实验中展示了持续的改进。
-
STEP方法加速扩散策略,实现更快、更精确的机器人控制
研究人员推出了一种新颖的方法STEP,用于加速机器人视觉运动控制中的扩散策略。STEP利用时空一致性预测生成高质量的温启动动作,在不牺牲性能的情况下显著降低了推理延迟。这种方法能够提高实时应用的控制频率,并在各种基准测试和实际任务中展现出比现有方法更高的成功率。