Vision-Language-Action (VLA) policies
PulseAugur coverage of Vision-Language-Action (VLA) policies — every cluster mentioning Vision-Language-Action (VLA) policies across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的Q自适应指导提升了VLA模型的推理能力
研究人员开发了一种名为Q自适应指导的新方法,以提高视觉-语言-动作(VLA)模型的推理能力。该方法将推理权重的调整视为一个马尔可夫决策过程,衡量每个权重的价值而不是对其进行引导。在Alpasim驾驶模拟器中,Q自适应指导的表现优于固定权重和其他强化学习方法。当应用于Waymo端到端驾驶基准测试时,它达到了新的最先进的评分者反馈分数。
-
新的验证方法增强了VLA策略动作的执行
研究人员开发了一种名为策略对齐预测验证器(PAV)的新方法,以改进视觉语言动作(VLA)策略生成的动作序列的执行。该PAV在执行前预测潜在动作前缀的结果,并评估其与成功完成任务的兼容性。通过在VLA的内部表示空间中评估这些提议,系统利用轨迹级生存监督和局部化先验从任务结果中学习判断。这种方法在LIBERO和RoboTwin 2.0等模拟环境以及现实世界操作任务的评估中,展示了改进的成功-查询权衡。
-
WAVE-0框架通过弥合VLA策略与WAMs来增强机器人操作能力
研究人员推出WAVE-0,一个新颖的框架,它整合了视觉-语言-动作(VLA)策略与世界动作模型(WAMs),以增强机器人操作能力。该方法利用一个轻量级的潜在世界模型,将预训练VLA的语义理解与明确的未来预测连接起来,使预期的动作后果能够直接影响动作生成。与需要昂贵的视频生成或大量预训练的先前方法不同,WAVE-0的世界模型直接使用反事实排序目标在真实机器人动作上进行训练,避免了像素重建。该框架在RoboTwin 2.0和LIBERO等…
-
新调查界定了机器人基础模型的“具身鸿沟”
一篇新发表在arXiv上的调查论文介绍了机器人基础模型(RFMs)中的“具身鸿沟”概念。该鸿沟指的是可复用模型与其在特定机器人上的实际部署之间的差异。论文探讨了现有方法如何在不同的机器人具身之间共享,并强调了适应性工作所需的内容。它提出了一个用于报告适应性工作的框架,强调仅凭成功率并不能完全捕捉跨具身学习的挑战。
-
新方法增强机器人领域 VLA 策略的效率和鲁棒性 · 跟踪 4 个来源
研究人员开发了新方法来提高机器人领域视觉-语言-动作 (VLA) 策略的效率和鲁棒性。一种方法 EXIMO 使用视觉-语言模型 (VLM) 作为规划器,将复杂任务分解为更小的步骤,从而实现更高效的微调和数据收集。另一种方法 GS-VLA 采用高斯溅射技术,在无需重新训练的情况下使冻结的 VLA 策略适应视角变化,显著提高了性能鲁棒性。此外,Prism-GRPO 通过纳入轨迹级别的执行质量分数来增强策略优化,减少了对大量机器人滚动的需求…
-
ActFovea框架在运行时增强机器人VLA策略的安全性
研究人员开发了ActFovea,一个旨在增强机器人操作中视觉-语言-动作(VLA)策略安全性的新框架。该系统在运行时运行,能够检测并缓解由干扰引起的故障,这些干扰会破坏视觉输入、机器人状态和动作之间的时间对齐,而无需重新训练VLA策略。ActFovea通过关注任务相关的视觉信息,并监控运动学、本体感觉和动作转换之间的一致性来实现这一点。评估显示,在视觉叠加和动作漂移等各种干扰下,成功率显著提高,同时在干净条件下保持性能,并在无法恢复时…
-
Pose6DAug框架增强了用于VLA策略的机器人数据增强 · 已追踪2个来源
研究人员开发了Pose6DAug,这是一个新颖的数据增强框架,旨在提高机器人领域中视觉-语言-动作(VLA)策略的性能。该方法利用成功的机器人操作片段,通过交换对象来生成新的训练数据,同时保留原始的物理上有效的动作轨迹。通过在3D中操作并确保跨多个视图的几何一致性渲染,Pose6DAug解决了朴素2D视频编辑的局限性。使用此增强数据对VLA策略进行微调,在对新对象的成功率方面比现有基线提高了16.5%,同时不影响对熟悉对象的性能。
-
DEFLECT框架提升机器人VLA策略延迟鲁棒性
研究人员开发了DEFLECT,一个旨在提高机器人异步视觉-语言-动作(VLA)策略鲁棒性的新型训练后框架。该方法通过将延迟引起的不匹配转化为反事实偏好监督,来解决推理过程中观测值陈旧的挑战。DEFLECT训练策略以偏好与执行时状态一致的动作,而无需人工标签、在线机器人试运行或额外的推理计算。在各种任务上的实验表明,DEFLECT显著增强了延迟鲁棒性,成功率提高了多达6.4个百分点。