Vision Language Action (VLA) models
PulseAugur coverage of Vision Language Action (VLA) models — every cluster mentioning Vision Language Action (VLA) models across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
受大脑启发的NeuroVLA架构通过快速反射增强机器人控制
研究人员推出了一种名为NeuroVLA的新型受大脑启发的架构，旨在增强机器人控制。该系统将大型语言模型的语义理解与高频反馈机制（包括本体感觉和运动记忆）相结合。在模拟和物理任务中，NeuroVLA在指令加加速度方面显著降低，并在从碰撞中恢复方面取得了高成功率，优于基线VLA模型。
-
机器人策略学习通过新的记忆和时间整合方法取得进展 · 跟踪 6 个来源
机器人领域的最新研究正在探索如何通过明确地将物理时间整合到记忆动态中来改进策略学习。论文提出了 RSSM-RLPD 等方法，用于从真实机器人交互中学习未观察到的状态，IMPRINT 用于无策展的潜记忆多流学习，以及 TEMPO 用于高效的测试时适应。其他方法，如 PoLAR，将潜动作分解为范围和模式，而时间流策略 (TFP) 和 Chronos Policy 分别将物理时间作为记忆和策略条件化的直接组成部分，以处理不同的观察率和推理延迟。
-
新的RARA方法通过检索对齐增强机器人策略微调
研究人员开发了一种名为检索锚定表示对齐（RARA）的新方法，以改进预训练机器人策略的微调。这种两阶段方法首先将目标演示的表示与相似的预训练表示对齐，然后保留这些预训练表示进行策略微调。在各种机器人操作任务上的实验表明，与现有方法相比，RARA显著提高了分布内和分布外性能。
-
StereoEngine 为机器人操作生成合成立体数据
研究人员开发了 StereoEngine，这是一个用于生成对训练机器人操作模型至关重要的合成立体数据的新系统。该系统采用两种方法：一种是使用估计的深度和用于修复的扩散模型将单目视频扭曲成立体对，另一种是在模拟中直接渲染一致的立体视图。与现有方法相比，这种方法显著提高了生成立体数据的质量。使用 StereoEngine 的合成数据训练机器人策略可在下游双手机器人操作任务中带来实质性改进。
-
CoLA 通过学习型适配器实现多模态视觉-语言-动作模型协调
研究人员开发了 CoLA（Coordination via Learned Adapters，通过学习型适配器实现的协调）是一种新颖的方法，可实现多个视觉-语言-动作（VLA）模型的有效协调。CoLA 冻结核心 VLA 模型，并训练轻量级的消息通道和动作头，从而实现去中心化执行。该系统表明，只有在信息是私有时才需要显式通信，在信息被遮挡的任务上取得了很高的成功率，同时在信息可共享的任务上表现出最小的性能下降。
-
新框架 YUBI-STAG 增强了 VLAs 的机器人操作对齐
研究人员推出 YUBI-STAG，一个旨在自动丰富机器人操作演示的框架，并提供详细的交互语义。该框架通过标注物体身份、属性、状态和抓手动作，旨在通过细粒度的操作指令改进 Vision-Language-Action (VLA) 模型的对齐。蒸馏版本 YUBI-VLM 通过较少的推理调用从原始视频中恢复动作结构和标注，从而简化了这一过程，并在双手机器人任务中展示了改进的性能和指令遵循能力。
-
新的CRAFT方法提升了VLA模型对未见技能组合的泛化能力
研究人员开发了一种名为CRAFT的新方法，以提高视觉-语言-动作（VLA）模型的组合泛化能力。这些模型通常难以将单独见过的技能组合成新的、未见过的组合。CRAFT通过使用可在不同动作之间重用的技能表示来解决这个问题，从而允许监督从演示技能转移到反事实训练对。这种方法在不牺牲已学技能表现的情况下，提高了对未演示技能组合的表现，并在模拟和真实机器人上取得了成功。
-
新的VLA模型技术大幅缩短机器人实时推理时间
研究人员开发了一种新的视觉-语言-动作（VLA）模型方法，以解决模型推理与高频机器人执行之间的时间差距。通过分析速度场和识别阶段异质性，他们提出了一种两阶段非均匀去噪过程，将模型推理时间从61.557毫秒显著缩短至21.956毫秒。这种方法集成到一个分布式实时VLA框架中，并在服装折叠任务上进行了评估，结果表明Legato和Temporal Smoothing等方法在优化去噪后表现良好，从而在对任务性能影响最小的情况下大幅降低了成本。
-
新的视觉语言动作模型探索肌电图和视觉标注以增强任务条件化
研究人员开发了两种新的视觉语言动作（VLA）模型，EC-VLA和VA-VLA，以探索超越传统语言提示的条件化。EC-VLA集成了肌电图（EMG）信号，而VA-VLA则纳入了视觉分割标注。在立方体选择任务中，与仅使用语言的基线模型相比，这两种模型在混乱和分布外场景中都表现出性能提升。
-
XEmbodied基础模型通过3D几何增强VLA系统
研究人员推出XEmbodied，一个旨在通过整合几何和物理线索来增强视觉-语言-动作（VLA）模型的新型基础模型。与目前在2D图像-文本数据上训练的现有模型不同，XEmbodied通过结构化的3D适配器和高效图像-具身适配器整合了3D几何感知和物理信号。这种方法旨在弥合通用VLM能力与复杂具身环境的特定需求之间的差距，从而提高在空间推理、交通语义和具身问答相关基准上的性能。
-
新的基准和记忆方法提升了VLA模型在长时机器人任务中的表现
研究人员正在开发新的基准和方法，以提高视觉-语言-动作（VLA）模型在长时机器人操作任务中的记忆能力。这些新方法旨在解决VLA模型通常只处理最近帧而无法利用随时间消失的信息的挑战。提出的解决方案包括创建如MIKASA-Robo-VLA和HIDE这样的综合任务套件，以及开发如Divide-and-Remember (D&R)和Delta-rule Recurrent Associative Memory (DRAM)等新颖的记忆机制，这…
-
新研究旨在提升VLA模型的泛化能力和效率
研究人员正在探索新的方法来提高机器人领域中视觉-语言-动作（VLA）模型的泛化能力。一种方法是等变反事实训练（ECT），通过训练模型使用配对演示，其中相同的指令在不同场景下需要不同的动作，来解决指令-动作绑定失败的问题。该方法在真实机器人任务的成功率方面显示出显著的改进。另一个概念VLA-Dreamer提出将世界模型集成到VLA架构中，通过在嵌入空间而非像素空间预测未来状态来提高样本效率并实现短期规划。
-
新的AI智能体蒸馏技术可应对性能崩溃并利用依赖性
研究人员开发了新的方法，通过迭代自蒸馏和利用蒸馏来提高AI智能体的性能。ReSAIL技术通过优先处理信息丰富的交互步骤并保留关键信息来解决迭代自蒸馏中的性能崩溃问题，从而在ALFWorld和TextCraft等基准测试中显著提高了智能体的成功率。另外，Harness-Zero方法侧重于将专门的智能体利用的优势蒸馏到模型权重中，从而在部署过程中移除外部利用时也能保持这些优势。该方法在各种领域中都显示出任务成功率和利用引起的行为恢复方面的显著改进。
-
新的TIDAL框架提升了动态环境中VLA模型的控制能力
研究人员开发了TIDAL，一个旨在提高视觉-语言-动作（VLA）模型在动态环境中控制能力的新框架。TIDAL通过采用一种分离语义推理和高频驱动的双频架构来解决当前VLA模型的高推理延迟问题。这种方法允许一个低频循环用于语义嵌入，一个高频循环用于交错执行，并以实时状态和运动线索为条件。实验表明，与开环基线相比，TIDAL在动态拦截任务中可实现高达2.5倍的性能提升，反馈频率提高四倍。
-
ReWeight框架通过人类演示数据改进机器人学习
研究人员开发了ReWeight，一个旨在增强机器人视觉-语言-动作（VLA）模型训练后能力的创新框架。该方法通过利用丰富的第一人称人类演示数据，解决了机器人数据收集成本高昂的挑战。ReWeight采用检索和加权系统来弥合人类数据和机器人数据之间的差距，学习跨具身视觉运动表征以衡量行为相似性。评估显示性能显著提升，ReWeight将模拟成功率从39%提高到57%，并在现实世界任务中达到了68.8%的成功率，大幅优于基线方法。
-
新研究通过时间上下文和视觉前瞻性增强机器人操控能力 · 跟踪4个来源
研究人员正在开发新方法，通过结合时间上下文和视觉前瞻性来改进机器人操控。PACT-WAM 使用紧凑的时间编码来预测动作轨迹和视觉结果，在各种任务上实现了高成功率，尤其是在增强了提案审查组件后。同样，TEMPO 通过增加运动摘要和本体感受历史来增强现有模型，以解决运动模糊和状态别名问题，从而解决了动态操控的局限性。另一种方法“Acting in Meters”引入了一个度量交互框架，该框架在物理空间中对物体和场景交互进行建模，以优化动作…
-
新研究推动具身AI世界模型发展，聚焦机器人行为与部署
研究人员正在探索具身智能的进展，重点关注连接机器人感知和决策的“世界模型”。论文讨论了从“合理”到“可操作”对这些模型进行分类的框架，强调它们在改善机器人行为和任务执行方面的作用。FluxVLA Engine等平台和Pelican-Sim 1.0等模拟器正在开发中，以简化这些复杂系统的工程和部署，解决数据集成、训练和实际应用中的挑战。
-
新的FedMVLA框架增强了6G网络中具身AI的隐私性
研究人员推出FedMVLA，一个新颖的联邦学习框架，旨在增强未来6G网络中具身智能的隐私性和效率。该框架通过采用模态解耦聚合、隐私分配和通信压缩技术，解决了跨分布式机器人代理训练视觉-语言-动作（VLA）模型所面临的挑战。一项案例研究证明了FedMVLA的有效性，在联邦机器人操作中实现了84.8%的任务成功率，显著优于FedAvg，并大幅降低了数据负载要求。
-
新的FWBC-VLA框架通过力感知增强机器人运动操控能力
研究人员开发了FWBC-VLA，一个新颖的框架，它将视觉-语言-动作（VLA）模型与全身控制（WBC）相结合，用于执行富含接触任务的机器人。该系统使用无传感器残余扭矩估计器来推断接触力，并将此信息注入VLA模型，使其能够感知和响应物理交互。该框架在WL&Arm数据集上进行了训练，并在白板擦拭和开门等任务的实际实验中证明了其有效性。
-
新的VLA模型通过多专家推理和多模态交互增强自动驾驶能力
两篇新的研究论文探讨了用于自动驾驶的先进视觉-语言-动作（VLA）模型。第一篇论文CoWorld-VLA介绍了一个多专家世界推理框架，该框架使用专门的token来条件化动作规划，并在NAVSIM数据集上展示了改进的性能。第二篇论文提出了一个通过关注多模态交互和多轨迹规划来增强VLA模型的系统，旨在实现更可靠和可解释的驾驶决策，尤其是在挑战性场景下。