RoboCasa
PulseAugur coverage of RoboCasa — every cluster mentioning RoboCasa across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的DUAC方法以更低的成本提取VLA模型不确定性
研究人员开发了基于散度的可感知不确定性的自适应动作分块(DUAC),这是一种用于估计视觉-语言-动作(VLA)模型预测不确定性的新颖事后方法。与需要多次动作采样的现有方法不同,DUAC使用雅可比向量积从单个生成的块中提取不确定性,从而显著降低了推理成本。这种方法与传统方法相关,但提供了更局部的不确定性度量,在LIBERO和RoboCasa等各种机器人基准测试中均被证明有效。
-
MetaWAM 统一机器人信号以用于世界动作模型,提升性能
研究人员开发了 MetaWAM,一种通过在统一的元帧内利用频域打包来将机器人信号集成到世界动作模型中的新方法。该方法将机器人数据与预训练视频扩散模型的潜在空间对齐,提高了性能并降低了推理延迟。MetaWAM 在 RoboCasa 基准测试中取得了 68.9% 的成功率,在真实 Franka 任务中取得了 85.0% 的成功率,证明了其在统一机器人动作和未来观察方面的有效性。
-
新研究质疑测试时搜索在AI动作模型中的有效性
arXiv上的一篇新论文调查了世界动作模型中测试时搜索策略的有效性,发现当前方法改进有限。审计显示,学习到的价值选择器表现不如随机选择,即使是事后诸葛亮也只显示出微小的收益。虽然令牌修剪可以减少计算量,但只实现了适度的加速,未能达到目标。研究还发现并修复了一个在重度计算下影响模拟器完整性的渲染损坏问题,突显了对测试时扩展策略进行全面审计的必要性。
-
新的 DiVeR 方法增强了机器人 VLA 策略学习
研究人员开发了 DiVeR,一种用于改进机器人领域视觉-语言-动作 (VLA) 策略的新方法。DiVeR 专注于从轨迹中的决策关键状态进行学习,而不是同等对待所有状态。通过估计采样动作表示的离散度,DiVeR 将学习重新加权到动作选择对任务成功影响最大的状态。该方法在各种基准测试和真实机器人实验中持续提高了任务成功率,且推理开销增加极少。
-
新的VaLoP方法增强了奖励引导的扩散模型
研究人员引入了VaLoP(Value Gradient Lookahead and Pullback),一种用于奖励引导扩散模型的新颖方法。该技术通过解决梯度估计中的不准确性,尤其是在高噪声水平下,来改进图像和动作生成。VaLoP通过在噪声较小的状态下评估价值函数,并将其梯度拉回到当前状态来实现这一点,在各种基准测试中表现优于现有方法,并可扩展到机器人策略引导。
-
EgoForesight框架通过利用嘈杂的自我中心动作改进机器人策略学习
研究人员开发了EgoForesight,一个旨在通过有效利用嘈杂的自我中心动作来改进机器人策略学习的新型框架。该系统集成了视觉-语言-动作能力,使其能够从机器人演示和自我中心视频中学习。EgoForesight通过减少不可靠的动作标签的影响并采用演示结果作为补充监督,来应对自我中心数据中不可靠动作标签的挑战。该框架采用联合视觉-动作流,将未来视觉表示预测与动作生成相结合,从而增强了可靠性感知动作学习和结果驱动的表示迁移。这种方法在经过…
-
Hugging Face 论文详述 AI 自我改进和具身规划
Hugging Face 的两篇新研究论文探讨了提高 AI 模型性能和适应性的方法。第一篇 A-RSI 通过根据下降的学习信号动态刷新训练任务来专注于自我改进,从而在没有外部标签的情况下提高基准性能。第二篇 CausGround 引入了一个用于具身规划的框架,该框架从交互经验中提取可重用的动作先决条件和效果,从而能够在无需重新训练的情况下实现跨不同环境的自适应规划。
-
LaLa-World 模型使用语言提高 AI 规划效率
研究人员推出 LaLa-World,这是一种新颖的语言条件潜在世界模型,旨在增强 AI 规划能力。通过将自然语言动作与包括模拟、机器人轨迹和通用图像/视频数据在内的各种数据源相结合,LaLa-World 展现出改进的规划性能和鲁棒性。这种方法允许跨异构数据集联合训练单一的未来预测器,以显著降低的训练成本和更快的推理速度实现与现有模型相当的规划结果。
-
新的剪枝技术提高了World Action Models的效率
研究人员开发了CF-Prune,一个新颖的框架,旨在通过剪枝不必要的未来帧token来提高World Action Models (WAMs) 的效率。该方法无需重新训练,利用指令和动作注意力在初始去噪阶段识别和移除与任务无关的视觉数据。在各种机器人操作任务上的实验表明,与基线模型相比,CF-Prune可以实现高达1.33倍的显著推理加速,同时保持甚至提高任务成功率。
-
新的RARA方法通过检索对齐增强机器人策略微调
研究人员开发了一种名为检索锚定表示对齐(RARA)的新方法,以改进预训练机器人策略的微调。这种两阶段方法首先将目标演示的表示与相似的预训练表示对齐,然后保留这些预训练表示进行策略微调。在各种机器人操作任务上的实验表明,与现有方法相比,RARA显著提高了分布内和分布外性能。
-
DiVeR 方法增强了 VLA 策略中的机器人动作选择
研究人员开发了 DiVeR,一种通过在测试时扩展中关注决策关键状态来改进视觉-语言-动作 (VLA) 策略的新方法。该方法通过将学习过程重新加权到对任务成功影响最大的动作选择状态,来解决机器人数据成本高昂的问题。DiVeR 根据采样动作表示的离散度来估计这种决策关键性,而无需逐步标注。在 LIBERO 和 RoboCasa 等模拟环境以及真实的 Franka Research 3 机器人上的实验表明,DiVeR 在最小的额外推理开销下…
-
新框架通过提高数据效率和鲁棒性来增强移动操作 · 跟踪4个来源
研究人员正在开发用于机器人移动操作的先进框架,旨在提高数据效率和鲁棒性。VOMMI 利用便携式演示和离线轨迹重建来增强具身智能的学习,与机器人收集的数据相比,速度误差有所降低。MobileVISTA 从规范演示中生成姿态扰动训练数据,提高了人形机器人等的鲁棒性,而无需生成模型。MobiAgent 采用双循环系统进行终身学习,将高级推理与低级控制分离,并在 BEHAVIOR-1K 和 RoboCasa 等基准测试中取得了显著的成功率提升…
-
机器人通过可重用代码库学习和迁移复杂策略
研究人员开发了一种让机器人学习和迁移闭环策略的方法。闭环策略是一套复杂的指令集,需要进行观测处理、状态管理和分支逻辑。通过将成功的策略实现视为可重用的软件存档,编码代理可以利用现有代码和模拟反馈为新任务生成和改进策略。该方法在源任务上的平均成功率从 28.3% 提高到 64.2%,在使用优化存档实现时,在九个新目标任务上实现了平均 57.0% 的成功率,显著优于未参考生成策略的性能。
-
新的SA-WAM模型将3D数据整合到机器人策略学习中
研究人员开发了一个空间感知世界动作模型(SA-WAM),该模型将3D几何信息整合到用于机器人策略学习的大规模预训练视频扩散模型中。该模型重新利用现有的视频扩散骨干网络来同时预测动作、RGB和深度,从而无需大量微调即可实现3D感知世界建模。SA-WAM在RoboCasa和LIBERO-Plus等基准测试中表现出最先进的性能,并在UR5机械臂上显示出强大的实际改进。
-
机器人模仿学习进展聚焦于遗忘和时间上下文
研究人员正在探索机器人模仿学习的新方法,重点关注如何基于人类演示有效地训练和管理策略。其中一种方法,在 arXiv 论文中有所详述,引入了“重新训练校准审计”来衡量演示遗忘,评估行为变化和已移除数据的残留证据。另一篇在 Hugging Face 上发表的论文介绍了“WorldToken”,一种时间优先序列建模技术,它将异构机器人观测融合到由因果 Transformer 处理的世界标记中,并在需要长期时间上下文的任务上证明了其有效性。
-
新的世界动作模型增强了游戏和机器人中的AI代理
研究人员正在开发新颖的世界动作模型(WAM),以提高AI代理在视频游戏和机器人中的性能。例如,GameWAM统一了视觉预测和动作生成,以实现原生的游戏控制,并以更少的动作展示了具有竞争力的结果。其他进展包括LAWA,它使用潜在动作在机器人中进行高效的未来想象;RISE,一个优化规划想象展开的自适应框架;4DGS-WAM利用4D高斯溅射进行以对象为中心的建模;以及GlanceWAM,它将想象与控制分离以实现实时推理。
-
Zetta智能体实现机器人自进化物理智能
研究人员推出了一种名为Zetta的新型闭环具身智能体,旨在增强机器人的物理智能。Zetta能够持续进化运行时评论员和恢复技能,从而实现以动作频率进行的实时决策。该方法在LIBERO-Pro和RoboCasa等机器人基准测试中取得了最先进的性能,实现了显著的推理加速,并表明自进化智能体可以扩展可靠的物理智能。
-
SpatialVAM模型提高机器人策略数据效率
研究人员推出了一种新颖的3D视频动作模型SpatialVAM,旨在提高机器人操作中的数据效率。与以往常常忽略空间或时间理解的先前方法不同,SpatialVAM同时预测空间感知的多视图热图视频和RGB视频。该方法将3D信息整合到视频基础模型中,对齐表示格式以实现更好的动作微调。实验表明,SpatialVAM在数据高效操作方面取得了最先进的性能,以显著更少的演示轨迹优于其他模型。
-
RayViT 通过相机几何增强机器人模仿学习
研究人员开发了 RayViT,这是一种新颖的架构,通过将相机几何信息整合到 Vision Transformer 模型中,增强了机器人的视觉模仿学习。该方法将以 Plücker 光线图形式表示的显式几何线索注入预训练的 ViT 主干网络。实验表明,RayViT 显著提高了对相机扰动的鲁棒性,在 RoboCasa 基准测试中提高了 13 个百分点,在现实世界任务中平均完成了 1.78 个阶段的改进。
-
新的IntentVLA框架通过意图建模改进机器人操作
研究人员开发了IntentVLA,一个用于机器人操作的新框架,解决了多模态模仿数据的挑战。该框架将最近的视觉观察编码为短视界意图表示,然后以此为条件生成动作块。IntentVLA旨在通过减轻模糊观察引起的块间冲突来提高回放稳定性,并优于现有的视觉语言动作(VLA)基线。IntentVLA的有效性在AliasBench、SimplerEnv、LIBERO和RoboCasa等多个基准测试中得到了证明。