Vlas
PulseAugur coverage of Vlas — every cluster mentioning Vlas across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
ACCRUE框架加速机器人学习，跨任务保留技能 · 跟踪2个来源
研究人员开发了ACCRUE，一个新颖的持续性离轨强化学习框架，旨在增强机器人基础模型（RFMs）。ACCRUE使机器人在学习新任务时能够高效地进行，同时保留先前获得的技能，解决了现有同策略和离策略方法的局限性。该框架通过跨任务携带轻量级的actor和critic网络来实现这一点，从而实现知识重用和适应，显著减少了现实世界机器人的训练时间并最大限度地减少了遗忘。
-
机器人领域迎来潜在的 GPT-2 时刻，得益于 World-Action Models
一种名为 World-Action Models (WAMs) 的新方法被比作 GPT-2 对自然语言处理产生的重大影响，预示着其在机器人领域具有类似的变革潜力。该方法旨在为机器人理解和与其环境交互提供一个更强大、更通用的框架。这种比较突显了 WAMs 通过实现更复杂、更适应性强的人工智能系统来推动机器人领域发展的潜力。
-
新的“任务擦除”方法可对抗VLA模型中的视觉捷径
研究人员发现，不同的视觉-语言-动作（VLA）模型骨干在利用视觉捷径学习方面易感性不同，这种捷径利用了与视角或背景等无关特征的虚假关联。他们提出了一种“动作裕度”指标来评估这一点，发现视觉捷径出现在模型的早期层，有时会被整合了语言信息的后期层纠正。为了缓解这种情况，引入了一种名为“任务擦除”的新领域对抗训练方法，该方法减少了对视觉捷径的依赖，并增强了VLA在模拟和真实世界实验中的泛化能力。
-
研究分析了摄像头故障下VLA模型的失效模式
一篇题为“Blackout vs. Freeze: Analyzing Physical Failure Modes of VLAs under Camera Faults”的新研究论文探讨了视觉-语言-动作（VLA）模型在视觉输入不可靠时如何表现。该研究调查了由图像黑屏和冻结引起的独特失效模式，发现冻结会导致更极端的关节运动，而黑屏可能导致物体掉落，尤其是在没有本体感觉的情况下。研究还评估了黑屏训练和故障嵌入替换等缓解策略，并指出虽…
-
机器人学在LfD和BC领域：讨论LLM和ViT的影响
r/MachineLearning 子版块正在讨论从演示中学习（LfD）和行为克隆（BC）领域的研究现状。一个关键问题是，这些领域是否受到前沿大型语言模型（LLM）近期进展的影响，还是在独立发展。参与者还在询问视觉 Transformer（ViT）和视觉语言模型（VLM）在 LfD 和 BC 研究中的采用和影响，以及这些领域是否有其他值得注意的近期进展。
-
新的BEV-Forcing技术提升了驾驶VLA的零样本迁移能力
研究人员开发了一种名为BEV-Forcing的方法，以提高自动驾驶领域中视觉-语言-动作模型（VLAs）的零样本迁移能力。该技术将地面物体布局信息从专门的鸟瞰图（Bird's-Eye-View）模型转移到VLA骨干网络中，鼓励模型通过共享的空间接口来表示物体位置。研究发现，在有限数量的摄像头配置下进行训练时，BEV-Forcing可以同时提高模型在分布内和分布外（out-of-distribution）的性能，但随着训练多样性的增加，…
-
VLASH方法提升机器人VLA推理速度和准确性
研究人员开发了VLASH，一种用于提高机器人视觉-语言-动作（VLA）模型实时性能的新颖方法。传统的同步推理会导致显著的延迟，限制了VLA在动态环境中的应用。VLASH采用异步推理，使机器人能够同时执行动作和处理信息。它通过根据先前动作预测未来状态来实现这一点，在无需架构更改或增加开销的情况下弥合了预测与执行之间的差距。实验表明，VLASH将反应延迟降低了高达11.8倍，并提高了比现有异步方法的准确性，使得先进的VLA能够执行诸如乒乓…
-
Mixture-of-Experts VLAs 涌现式学习组合式机器人策略
研究人员探索了 Mixture-of-Experts (MoE) 视觉语言代理 (VLA) 在学习组合式机器人策略方面的能力。通过在没有预定义任务层次结构的情况下，对专家演示进行 MoE 动作头训练，研究发现该系统能够涌现式地学习将任务分解为可重用的基本单元。这些学习到的专家在任务之间被重复使用，并对应于不同的低级行为，这表明路由器隐式处理了高级排序，而专家充当了组合构建块。这种方法取得了与整体基线相当的性能，同时展示了专业的专家行为…
-
Patch Policy 使用密集视觉特征实现高效机器人控制
研究人员推出 Patch Policy，这是一种新颖的架构扩展，旨在通过有效利用 Vision Transformers (ViTs) 的密集视觉特征来增强机器人领域的具身控制。该方法允许基于 Transformer 的策略直接处理 patch token，避免了完整视觉-语言模型的计算负担。Patch Policy 取得了显著的改进，与全局池化表示相比，相对提高了 40%，并且在参数量仅为后者的几分之一的情况下，性能优于 OpenV…
-
研究发现：冻结的VLA冗余编码视觉历史
研究人员调查了冻结的视觉-语言-动作模型（VLA）如何编码和利用视觉历史。他们的研究揭示了一种分离现象：过去帧的内容是可解码的，但超出当前帧的历史的独特信息却基本缺失，这表明存储的历史是当前信息的冗余副本。历史仅在当前帧退化时部署，部署策略因架构而异；一种类型越来越依赖历史作为后备，而另一种则不太依赖。研究结果表明，可控性取决于历史的部署方式，而非其编码方式，这表明未来的记忆增强应注入独特的过去信息。
-
新的ST-Merge框架提升机器人VLM/VLA的推理速度
研究人员开发了ST-Merge，一个旨在加速机器人中使用的视觉语言模型（VLMs）和视觉语言动作模型（VLAs）推理速度的新型框架。这种即插即用、无需训练的方法通过构建3D时空坐标并采用并行匹配和加权聚合机制，在编码阶段有效地融合冗余的视觉令牌。ST-Merge还包括一个后融合位置校正机制，以保持空间精度。该框架已展示出显著的速度提升，在Qwen2.5-VL模型上实现了2倍的推理速度提升，精度损失极小，并在高分辨率下实现了8.3倍的V…
-
HAT-4D框架从单视频中重建3D物体交互
研究人员推出HAT-4D，一个新颖的代理框架，旨在从单个单目视频中重建多个物体的3D几何、时间动态和物理交互。该方法集成了视觉语言模型（VLM）和人类在回路反馈机制，以克服多物体场景中的深度歧义和遮挡等挑战。HAT-4D旨在作为具身AI和训练VLA的可扩展数据引擎，并已用于创建MVOIK-4D，一个用于单目4D交互重建的新基准。
-
PoLAR方法通过结构化潜在动作增强机器人策略学习
研究人员开发了PoLAR，一种新颖的机器人策略学习方法，该方法利用双曲空间中的几何结构化潜在动作表示。该方法将过渡范围（extent）与过渡模式（mode）解耦，从而能够更有效地学习机器人行为。通过将过渡移动的距离（extent）与其遵循的行为类型（mode）分开，PoLAR提高了在模拟和现实世界机器人任务中的下游策略性能。
-
新的机器人策略模型增强了动作生成和效率
研究人员开发了新的机器人策略学习方法，提高了动作生成效率和准确性。LeaP（一种可学习的源先验）通过对本体感觉进行条件化来优化动作生成的起点，从而在操作任务上取得了显著的性能提升。LaWAM引入了潜在世界动作模型，该模型预测紧凑的潜在视觉子目标而非完整的视频帧，从而在保持高成功率的同时降低了计算延迟。几何动作模型（GAM）将几何基础模型重新用于语言条件操作，直接整合3D几何以实现更鲁棒、更高效的控制。
-
新的RoboWits基准测试机器人创意问题解决能力
研究人员推出了RoboWits，这是一个旨在测试机器人系统在意外情况下创意问题解决和推理能力的新基准。该基准利用自动化流程生成具有不同难度级别的多样化任务，重点关注几何、材料和装配推理。初步测试显示，当前的预训练视觉语言模型在经过微调后虽然能够完成基本任务，但在面对变异或更复杂的场景时却表现出显著的困难，这凸显了它们在现实世界自适应操作中的脆弱性。
-
RLDX-1 机器人策略通过新的 Transformer 架构增强灵巧操作
研究人员推出 RLDX-1，这是一种用于灵巧操作的新型机器人策略，通过多流动作 Transformer 架构整合异构模态。该方法旨在通过整合运动感知、基于记忆的决策和物理传感来克服当前视觉-语言-动作模型的局限性。RLDX-1 在复杂现实世界任务和人形机器人控制方面，表现优于 $\pi_{0.5}$ 和 GR00T N1.6 等现有模型。
-
新基准揭示AI模型在驾驶中对自身运动理解方面存在困难
研究人员开发了EgoDyn-Bench，这是一个旨在评估以视觉为中心的模型在自动驾驶场景中对自身运动理解能力的新基准。该基准揭示了一个显著的“感知瓶颈”，模型难以将物理概念与视觉观察对齐，表现常常不如传统的几何方法。这表明当前AI架构在整合视觉感知与物理推理方面存在结构性问题，自身运动逻辑主要源于语言而非视觉输入。