Vision-language-action model
PulseAugur coverage of Vision-language-action model — every cluster mentioning Vision-language-action model across labs, papers, and developer communities, ranked by signal.
- instance of Libero 90%
- instance of Very Large Array 70%
- used by alphaXiv 70%
- used by ScienceCast 70%
- used by Libero 70%
- used by Gotit.pub 70%
- instance of Embodied Ai 70%
- instance of Embodied AI beyond Embodied Cognition and Enactivism 70%
- used by Embodied Ai 60%
- other Very Large Array 50%
- used by DagsHub 50%
15 天有情绪数据
-
Nomagic部署AI‘大脑’用于仓库机器人，干预率减半
Nomagic已成功将其首个视觉-语言-动作（VLA）模型部署给付费客户，标志着将AI应用于现实世界机器人任务方面迈出了重要一步。这个由前Google DeepMind研究员Markus Wulfmeier领导的仓库机器人AI‘大脑’，据报道在其客户Brack.Alltron的实际运营中，将机器人引起的干预率降低了一半。尽管尚未达到完美可靠性，Nomagic的方法侧重于开箱即用的任务特定掌握，并设计了一个确保安全并逐步提高AI能力的系统。
-
SIEVE方法通过结构感知数据选择增强VLA模仿学习
研究人员推出了一种用于视觉-语言-动作（VLA）模仿学习中的数据选择新方法SIEVE。SIEVE识别机器人演示数据集中的可重用视觉-运动基元和过渡接口，以提高策略学习的效率。实验表明，SIEVE在仅使用显著更少的数据和训练步数的情况下，即可达到与全数据训练相当或更优的性能。
-
新型VLA模型实现无需校准的机器人控制
研究人员开发了一种新的视觉-语言-动作（VLA）模型，称为以摄像头为中心的VLA（CamVLA），该模型无需显式摄像头校准即可运行。该模型预测以摄像头为中心的动作和手眼矩阵，使其能够从单个单目RGB图像生成机器人基坐标系动作。CamVLA在模拟和真实机器人数据的不同、未见过的视角下均表现出更高的成功率，使其在摄像头设置经常变化的真实场景中更加鲁棒且易于部署。
-
新模型通过整合视觉和状态来增强机器人操作能力
研究人员开发了几种新方法，通过更好地整合视觉信息与机器人的状态和动作来提高机器人操作能力。例如，GeoProp 是一种轻量级适配器，通过将机器人状态投影到图像平面并注入空间先验来对齐本体感觉和视觉。RoboDojo 提供了一个统一的模拟和真实基准，用于评估通用机器人操作策略在各种任务中的表现。DSWAM 引入了一种双系统方法，将世界动作模型执行器与视觉语言规划器相结合，以实现细粒度操作，而 DynaWM 使用专门针对动态物体操作的基于…
-
Hugging Face论文详述用于机器人技术的VLA模型改进
Hugging Face的两篇新研究论文探讨了视觉-语言-动作（VLA）模型的进展。第一篇论文介绍了LingBot-VLA 2.0，通过扩展其训练数据以包含多样化的机器人配置和人类视频，提高了泛化能力，并增强了其动作空间以涵盖复杂操作的全身运动。第二篇论文提出了SVA，一个通过蒙特卡洛树搜索和Q值模型将动作生成与后果评估解耦，从而改进冻结VLA模型的框架，证明该方法可以以更低的延迟超越更大的模型。
-
VLA-Corrector框架增强机器人操作的鲁棒性
研究人员开发了VLA-Corrector，一个旨在增强机器人操作任务中视觉-语言-动作（VLA）模型鲁棒性的新框架。该系统引入了一个轻量级的潜在空间视觉监视器，用于检测动作执行过程中视觉动态的偏差。当识别出持续漂移时，VLA-Corrector会触发纠正性重新规划，在不改变VLA骨干网络权重的情况下，有效调整动作视界，提高在复杂、富含接触环境中的成功率。
-
FurnitureVLA模型解决了真实尺度双臂家具组装问题
研究人员开发了FurnitureVLA，这是一种新颖的视觉-语言-动作模型，专为复杂、长时序的双臂家具组装任务而设计。该模型通过专注于真实尺度组装，并采用进度增强方法来管理长动作序列和减少错误，从而解决了先前工作的局限性。该系统在模拟和真实机器人平台上都显示出成功率的显著提高。
-
New H-Tac dataset and TTP system advance robotic tactile manipulation
研究人员推出了 H-Tac，这是一个大规模数据集，包含超过 300 个任务的 160 小时人类视频，旨在改进机器人操作的触觉传感。他们还开发了可迁移触觉预训练 (TTP) 系统，该系统利用这些人类数据对机器人进行预训练。这种方法使用统一的触觉和动作空间，促进人类到机器人的知识转移，并明确建模接触动力学以增强精细操作能力。
-
千寻智能Legato实现流畅机器人运动 · 跟踪1个来源
千寻智能高阳团队的研究人员开发了Legato，一种新颖的视觉-语言-动作（VLA）模型训练方法，使机器人能够以自然、流畅的过渡执行动作。与以往在推理过程中修补连续性的方法不同，Legato将连续性直接整合到训练过程中。这是通过一种噪声-实值混合机制和逐步去噪过程实现的，该过程确保了训练和推理之间的一致性，从而实现更流畅、更高效的机器人运动。
-
新型AI系统通过视觉和语言自动化生物实验室任务
研究人员开发了BioProVLA-Agent，一个经济实惠的系统，用于使用视觉-语言-动作（VLA）模型自动化生物实验室任务。该系统集成了协议解析、视觉状态验证和具身执行，以处理非结构化协议和具有挑战性的视觉条件，如透明实验室器皿和反射。该系统在15个原子任务、6个复合工作流和3个双臂任务的基准上进行了性能评估，显示出更高的稳定性和精度，尤其是在视觉退化的环境中。
-
新的自动驾驶模型使用世界模型进行更安全、更鲁棒的规划 · 跟踪 2 个来源
两篇新的研究论文介绍了用于端到端自动驾驶的先进世界建模技术。OWMDrive 专注于 4D 占用世界模型，用于多步 3D 占用预测，以指导基于扩散的规划，旨在实现更具前瞻性和鲁棒性的轨迹生成，尤其是在挑战性场景中。ExploreVLA 将世界建模与强化学习相结合，以实现超越专家演示的策略探索，使用未来图像生成作为密集世界建模目标和新颖性检测的内在奖励信号。
-
新方法利用桥接动作将人类操控技能转移到机器人 · 跟踪 3 个来源
研究人员开发了一种新颖的方法，通过使用“桥接动作”表示来将人类操控技能转移到机器人。该方法侧重于初始头部摄像头帧中的相对腕部平移，这是人类和机器人共有的动作空间。采用具有交错动作令牌和注意力掩码的视觉-语言-动作模型来处理具身差异，从而为双臂机器人执行新颖的操控任务实现更有效的知识转移。
-
DriveStack-VLA通过空间智能和自我批评增强驾驶模型
研究人员推出DriveStack-VLA，一个旨在增强视觉-语言-动作驾驶模型空间智能的新框架。该系统利用大型视觉-语言模型骨干，并通过DeepStack风格的连接引入鸟瞰图表示。为了改善感知焦点，它采用渲染教师对齐，对齐真实和栅格化图像感知。DriveStack-VLA还包含一个用于优化轨迹选择的自我批评模块，在NAVSIMv1、NAVSIMv2和Bench2Drive等基准测试中取得了强劲的性能。
-
新的G3VLA模块通过几何感知增强机器人操作VLA模型
研究人员推出G$^3$VLA，这是一个旨在增强机器人操作的视觉-语言-动作（VLA）模型的新模块。该模块解决了2D图像坐标与机器人相机校准几何之间的不匹配问题，尤其是在多摄像头设置中。G$^3$VLA将相机感知的几何结构注入VLA模型，而不会改变其动作空间或学习目标。该系统在各种基准套件和真实机器人环境中，尤其是在对空间和物体细节敏感的任务上，都展示了持续的性能提升。
-
新框架使机器人无需重新训练即可适应新环境
研究人员引入了情境世界模型（ICWM），这是一个旨在提高机器人策略适应性的新框架。ICWM将系统识别视为一种情境适应问题，使机器人能够在无需参数更新的情况下，从自我生成的交互中推断出关键系统变量。这种方法使策略能够理解当前系统的动态并适应新颖的配置，例如不同的摄像头视角，在实验中表现优于标准的视觉-语言-动作模型。
-
新的RECALL方法通过主动数据收集改进VLA模型学习
研究人员推出了一种新颖的视觉-语言-动作（VLA）模型主动终身学习方法RECALL。与需要故障触发数据收集且对必要监督指导甚少的被动模仿学习不同，RECALL使用不确定性引导的数据收集进行更有效的微调。然而，该研究也强调了仅用新恢复数据进行微调时灾难性遗忘的挑战，并探索了诸如回放式数据混合和弹性权重巩固等技术，以平衡可塑性与保留性。
-
新协议衡量VLA模型的常识知识
研究人员开发了Act2Answer，这是一个新的评估协议，旨在评估视觉-语言-动作（VLA）模型在机器人数据上进行微调后保留的常识和世界知识。该协议通过让智能体在桌面环境中通过特定动作选择答案来调整现有的VLM知识基准，从而减少与低级控制相关的混淆。对七个VLA模型和九个VLM基线的大规模研究表明，虽然VLA模型在简单概念上表现良好，但与它们的源VLM相比，它们在复杂语义领域表现出更大的知识差距。研究还表明，VQA联合训练有助于知识保…
-
新研究增强了用于机器人和视觉推理的VLA模型
近期研究探索了增强用于机器人操作和通用视觉推理的视觉-语言-动作（VLA）模型。研究通过域随机化和照片级真实感渲染来研究模拟到现实的泛化能力，并提出诸如 Faithful Warm-Start 等方法，通过在强化学习前确保视觉保真度来提高VLM推理的稳定性。其他工作引入了置信度驱动的测试时强化学习，无需外部奖励即可实现自我改进，以及状态感知分词器，以更好地从离散代码中解码动作。此外，研究还检查了VLA模型中的架构冗余，发现语言骨干对于…
-
新研究解决 LVLM 幻觉问题并改进视觉-语言学习
研究人员正在开发新方法来提高大型视觉-语言模型 (LVLM) 的鲁棒性和能力。一种名为 SeeMe 的方法侧重于通过工程化视觉标记来抑制不相关信息同时保留关键证据，从而减轻幻觉。另一个框架 Text as Partial Constraint (TPC) 旨在通过将多视图字幕视为不完整监督并提炼共识语义核心来创建更可靠的表示。此外，还在探索像 HiMe 这样的新架构，用于长视域的视觉-语言-动作控制，将具身智能解耦为分层组件，以实现更…
-
新论文揭示视觉语言模型缺乏主体性和知识保留能力
两篇新研究论文指出了当前视觉语言模型（VLMs）的局限性，特别是在微调后保留知识的能力以及在视觉推理中缺乏“主体性”方面。第一篇论文《视觉-语言-动作模型是否了解基础知识？》引入了Act2Answer协议，通过让具身VLA模型通过动作选择答案来评估它们，结果显示它们在简单概念上表现良好，但在比其源VLMs更丰富的语义类别上却表现不佳。第二篇论文《主体性：视觉推理中系统性的主体性缺失》认为，VLMs受限于缺乏主体性，导致它们充当被动的语…