LIBERO-Spatial
PulseAugur coverage of LIBERO-Spatial — every cluster mentioning LIBERO-Spatial across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究揭示视觉语言模型易受地标同义词错误影响
一篇新的研究论文探讨了视觉语言模型(VLM)在物体描述的细微变化面前的脆弱性,特别关注地标同义词。研究表明,VLM 很容易被同义词误导,从而影响其准确完成任务的能力。研究人员发现,虽然同义词可以将 VLA 指向正确的物体,但与原始指令相比,它们会显著降低任务完成率。为了提高鲁棒性,研究人员测试了 VLA 管道中各个点的干预措施,包括视觉语言模型和动作生成器之间的连接器,其中在多样化的地标词上进行微调显示出最大的潜力。
-
研究发现VLA模型在微调时表现出不同的样本效率
一项新的研究论文调查了视觉语言动作(VLA)模型在演示数据上进行微调时的样本效率。该研究揭示了包括 $\pi_0$、$\pi_{0.5}$ 和 GR00T N1-N1.7 在内的六个 VLA 模型在四个 LIBERO 基准套件上的适应效率存在显著差异。值得注意的是,$\pi_{0.5}$ 表现出优越的样本效率,比 $\pi_0$ 需要更少的演示,并且在有限数据下实现了更高的成功率。研究还发现,在 GR00T 模型中,尽管 N1.6 和…
-
新的T3R框架提升VLA模型效率和鲁棒性
研究人员开发了T3R,一个旨在提高机器人领域中视觉-语言-动作(VLA)模型效率和鲁棒性的新框架。T3R采用两阶段、无需训练的方法:首先,它修剪不相关的视觉标记以减少计算负载并消除干扰的背景信息;其次,它将注意力重新分配给对动作至关重要的视觉区域和语言指令。该方法已显示出显著的改进,例如在LIBERO-Spatial基准测试中移除了85%的视觉标记,同时保持了可比的成功率,并在分布变化下提高了性能。
-
新的RESCUE框架评估机器人运行时监视器以进行有效干预
研究人员开发了RESCUE,一个用于评估机器人系统运行时故障监视器有效性的新颖框架。与仅关注警报准确性的传统方法不同,RESCUE通过比较替代操作并识别最佳恢复点来评估警报是否能够进行有用的干预。该框架使用OpenVLA-OFT和$\pi_{0.5}$策略在LIBERO-Spatial和LIBERO-Plus数据集上进行了测试,结果表明监视器的价值取决于可用的干预措施和具体的工作负载。
-
混合语言模型在机器人领域应用几何条件训练,结果喜忧参半
一篇新研究论文探讨了物理状态输入对一款专为操作任务设计的、拥有0.8亿参数的混合语言模型的影响。该研究在三个LIBERO-Spatial任务上训练了六种不同的条件训练方法,并评估了它们在多个种子和回放中的表现。结果显示,在几何增量上设置条件衰减门可实现28.9%的成功率,而打乱这些增量则导致36.7%的成功率,明确的对象/目标几何则为24.4%的成功率。鲁棒性测试表明,仅状态的相对坐标策略在帧重标记下保持了10次中的7次成功,而视觉策…
-
Papers with Code 推出机器人研究中心
Papers with Code 推出了一个新的专门的机器人研究页面,整合了主要的基准测试、带有代码链接的趋势论文以及开源制品。该平台旨在提供该领域的全面概述,可视化基准测试随时间的进展并指示模型可用性。该计划寻求社区对其他基准测试、任务和功能的投入,以增强其覆盖范围。
-
NVIDIA 和 Hugging Face 通过新的 AI 工具推动开放机器人技术
NVIDIA 和 Hugging Face 正在合作,通过将 NVIDIA 的 AI 模型和框架集成到 Hugging Face 的 LeRobot 库中,来增强开源机器人社区。此次合作旨在为开发人员提供更易于访问和标准化的机器人开发工具,包括 NVIDIA Isaac GR00T 1.7 模型和 Isaac Teleop 框架。未来的集成将包括 NVIDIA Cosmos 3,一个面向物理 AI 的前沿模型,进一步简化端到端的机器人…
-
新框架增强了机器人处理不确定环境的能力
研究人员开发了Reward-Centered ReST-MCTS (RCRM-Guard),一个新颖的决策框架,旨在增强机器人在高不确定性环境中的操作能力。该框架将中间反馈分解为多个通道,包括规则、启发式方法、神经网络和价值估计,以偏向和修复搜索过程。虽然RCRM-Guard并未声称在标准基准测试中具有优越性,但它在处理嘈杂的转换或稀疏奖励时,可以作为同一骨干操作任务的可检查的测试时验证器。
-
新框架通过推理和物理基础增强AI具身操作 · 已追踪4个来源
研究人员开发了Guava框架,旨在通过整合高级推理与外部感知、规划和控制模块来增强AI代理的具身操作能力。该框架确定了迭代感知-推理-行动循环、语义动作抽象和多模态观察是有效具身代理的关键组成部分。Guava已证明其能够以极少量的训练数据将复杂的操作技能提炼成一个紧凑的4B开源模型,在模拟和现实世界环境中均取得了与前沿专有模型相当的性能。此外,PhysVLA框架提供了一个即插即用的解决方案,它可以在不重新训练的情况下包装现有的视觉-语…