ManiSkill
PulseAugur coverage of ManiSkill — every cluster mentioning ManiSkill across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架增强了机器人处理不确定环境的能力
研究人员开发了Reward-Centered ReST-MCTS (RCRM-Guard)，一个新颖的决策框架，旨在增强机器人在高不确定性环境中的操作能力。该框架将中间反馈分解为多个通道，包括规则、启发式方法、神经网络和价值估计，以偏向和修复搜索过程。虽然RCRM-Guard并未声称在标准基准测试中具有优越性，但它在处理嘈杂的转换或稀疏奖励时，可以作为同一骨干操作任务的可检查的测试时验证器。
-
FlowMPC框架通过世界模型增强模仿学习
研究人员开发了FlowMPC，一个新框架，可增强多模态动作空间中流匹配（FM）策略的性能。通过将学习到的世界模型与模仿学习的FM策略相结合，FlowMPC实现了模型预测路径积分（MPPI）规划，以改进测试时动作。在ManiSkill操作任务（特别是PickCube和PickSingleYCB）上的实验表明，FlowMPC的表现优于单独的FM策略，在剧集结束时的成功率方面显示出显著的提升。该方法表明，基于世界模型的规划可以有效地补充FM…
-
新的COMET算法通过面向对象的方法增强AI规划
研究人员推出了一种新颖的基于模型的强化学习规划算法COMET。COMET在基于槽的潜在空间中利用蒙特卡洛树搜索，将一个固定的无监督对象中心编码器与一个基于Transformer的世界模型配对。它包含一个独特的动作槽融合机制和对象因果注意力，以将决策集中在相关实体上。在跨不同任务的早期训练阶段，COMET在与现有的对象中心和整体基线相比，表现出了卓越的性能。
-
通过逆向动力学预测改进用于世界建模的VLM
研究人员正在探索改进视觉语言模型（VLM）在世界建模方面的预测能力的方法。一个关键挑战是VLM在正向动力学预测（根据动作生成未来状态）方面存在困难，但在逆向动力学预测（描述状态之间的动作）方面更擅长。这种不对称性正被用于通过弱监督学习（来自标注数据）和推理时验证等技术来增强VLM的性能。这些方法旨在为具身AI应用创建更强大、更准确的世界模型，其中一些方法在图像编辑和策略评估方面显示出与最先进模型相媲美的结果。
-
新的GAP方法通过稀缺数据提升机器人操作学习能力
研究人员开发了一种新颖的方法——几何锚点预训练（GAP），以提高机器人操作视觉运动学习中的数据效率。GAP预训练一个空间适配器，从对象掩码生成稳定的几何锚点，为少样本策略学习提供可靠的坐标接口。该方法在RoboMimic和ManiSkill等具有挑战性的任务上显著优于现有方法，即使在专家演示非常有限且存在领域迁移的情况下也是如此。