Vlas
PulseAugur coverage of Vlas — every cluster mentioning Vlas across labs, papers, and developer communities, ranked by signal.
-
VLASH方法提升机器人VLA推理速度和准确性
研究人员开发了VLASH，一种用于提高机器人视觉-语言-动作（VLA）模型实时性能的新颖方法。传统的同步推理会导致显著的延迟，限制了VLA在动态环境中的应用。VLASH采用异步推理，使机器人能够同时执行动作和处理信息。它通过根据先前动作预测未来状态来实现这一点，在无需架构更改或增加开销的情况下弥合了预测与执行之间的差距。实验表明，VLASH将反应延迟降低了高达11.8倍，并提高了比现有异步方法的准确性，使得先进的VLA能够执行诸如乒乓…
-
Mixture-of-Experts VLAs 涌现式学习组合式机器人策略
研究人员探索了 Mixture-of-Experts (MoE) 视觉语言代理 (VLA) 在学习组合式机器人策略方面的能力。通过在没有预定义任务层次结构的情况下，对专家演示进行 MoE 动作头训练，研究发现该系统能够涌现式地学习将任务分解为可重用的基本单元。这些学习到的专家在任务之间被重复使用，并对应于不同的低级行为，这表明路由器隐式处理了高级排序，而专家充当了组合构建块。这种方法取得了与整体基线相当的性能，同时展示了专业的专家行为…
-
Patch Policy 使用密集视觉特征实现高效机器人控制
研究人员推出 Patch Policy，这是一种新颖的架构扩展，旨在通过有效利用 Vision Transformers (ViTs) 的密集视觉特征来增强机器人领域的具身控制。该方法允许基于 Transformer 的策略直接处理 patch token，避免了完整视觉-语言模型的计算负担。Patch Policy 取得了显著的改进，与全局池化表示相比，相对提高了 40%，并且在参数量仅为后者的几分之一的情况下，性能优于 OpenV…
-
研究发现：冻结的VLA冗余编码视觉历史
研究人员调查了冻结的视觉-语言-动作模型（VLA）如何编码和利用视觉历史。他们的研究揭示了一种分离现象：过去帧的内容是可解码的，但超出当前帧的历史的独特信息却基本缺失，这表明存储的历史是当前信息的冗余副本。历史仅在当前帧退化时部署，部署策略因架构而异；一种类型越来越依赖历史作为后备，而另一种则不太依赖。研究结果表明，可控性取决于历史的部署方式，而非其编码方式，这表明未来的记忆增强应注入独特的过去信息。
-
新的ST-Merge框架提升机器人VLM/VLA的推理速度
研究人员开发了ST-Merge，一个旨在加速机器人中使用的视觉语言模型（VLMs）和视觉语言动作模型（VLAs）推理速度的新型框架。这种即插即用、无需训练的方法通过构建3D时空坐标并采用并行匹配和加权聚合机制，在编码阶段有效地融合冗余的视觉令牌。ST-Merge还包括一个后融合位置校正机制，以保持空间精度。该框架已展示出显著的速度提升，在Qwen2.5-VL模型上实现了2倍的推理速度提升，精度损失极小，并在高分辨率下实现了8.3倍的V…
-
HAT-4D框架从单视频中重建3D物体交互
研究人员推出HAT-4D，一个新颖的代理框架，旨在从单个单目视频中重建多个物体的3D几何、时间动态和物理交互。该方法集成了视觉语言模型（VLM）和人类在回路反馈机制，以克服多物体场景中的深度歧义和遮挡等挑战。HAT-4D旨在作为具身AI和训练VLA的可扩展数据引擎，并已用于创建MVOIK-4D，一个用于单目4D交互重建的新基准。
-
PoLAR方法通过结构化潜在动作增强机器人策略学习
研究人员开发了PoLAR，一种新颖的机器人策略学习方法，该方法利用双曲空间中的几何结构化潜在动作表示。该方法将过渡范围（extent）与过渡模式（mode）解耦，从而能够更有效地学习机器人行为。通过将过渡移动的距离（extent）与其遵循的行为类型（mode）分开，PoLAR提高了在模拟和现实世界机器人任务中的下游策略性能。
-
新的机器人策略模型增强了动作生成和效率
研究人员开发了新的机器人策略学习方法，提高了动作生成效率和准确性。LeaP（一种可学习的源先验）通过对本体感觉进行条件化来优化动作生成的起点，从而在操作任务上取得了显著的性能提升。LaWAM引入了潜在世界动作模型，该模型预测紧凑的潜在视觉子目标而非完整的视频帧，从而在保持高成功率的同时降低了计算延迟。几何动作模型（GAM）将几何基础模型重新用于语言条件操作，直接整合3D几何以实现更鲁棒、更高效的控制。
-
新的RoboWits基准测试机器人创意问题解决能力
研究人员推出了RoboWits，这是一个旨在测试机器人系统在意外情况下创意问题解决和推理能力的新基准。该基准利用自动化流程生成具有不同难度级别的多样化任务，重点关注几何、材料和装配推理。初步测试显示，当前的预训练视觉语言模型在经过微调后虽然能够完成基本任务，但在面对变异或更复杂的场景时却表现出显著的困难，这凸显了它们在现实世界自适应操作中的脆弱性。
-
RLDX-1 机器人策略通过新的 Transformer 架构增强灵巧操作
研究人员推出 RLDX-1，这是一种用于灵巧操作的新型机器人策略，通过多流动作 Transformer 架构整合异构模态。该方法旨在通过整合运动感知、基于记忆的决策和物理传感来克服当前视觉-语言-动作模型的局限性。RLDX-1 在复杂现实世界任务和人形机器人控制方面，表现优于 $\pi_{0.5}$ 和 GR00T N1.6 等现有模型。
-
新基准揭示AI模型在驾驶中对自身运动理解方面存在困难
研究人员开发了EgoDyn-Bench，这是一个旨在评估以视觉为中心的模型在自动驾驶场景中对自身运动理解能力的新基准。该基准揭示了一个显著的“感知瓶颈”，模型难以将物理概念与视觉观察对齐，表现常常不如传统的几何方法。这表明当前AI架构在整合视觉感知与物理推理方面存在结构性问题，自身运动逻辑主要源于语言而非视觉输入。