Vision-Language Action Models
PulseAugur coverage of Vision-Language Action Models — every cluster mentioning Vision-Language Action Models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新机器人框架利用触觉反馈提升操作技能
研究人员开发了一个名为 TacEx 的新框架，该框架通过利用触觉反馈进行探索来增强机器人操作技能。这种方法使用触觉作为引导好奇心的自然信号，驱动机器人发现复杂的接触动力学，并在无需明确奖励或专家演示的情况下学习操作任务。收集到的交互密集型数据集支持下游策略的离线学习，并通过触觉驱动的训练后处理提高了视觉-语言-动作模型的样本效率。
-
新研究旨在提升VLA模型的泛化能力和效率
研究人员正在探索新的方法来提高机器人领域中视觉-语言-动作（VLA）模型的泛化能力。一种方法是等变反事实训练（ECT），通过训练模型使用配对演示，其中相同的指令在不同场景下需要不同的动作，来解决指令-动作绑定失败的问题。该方法在真实机器人任务的成功率方面显示出显著的改进。另一个概念VLA-Dreamer提出将世界模型集成到VLA架构中，通过在嵌入空间而非像素空间预测未来状态来提高样本效率并实现短期规划。
-
新框架通过提高数据效率和鲁棒性来增强移动操作 · 跟踪4个来源
研究人员正在开发用于机器人移动操作的先进框架，旨在提高数据效率和鲁棒性。VOMMI 利用便携式演示和离线轨迹重建来增强具身智能的学习，与机器人收集的数据相比，速度误差有所降低。MobileVISTA 从规范演示中生成姿态扰动训练数据，提高了人形机器人等的鲁棒性，而无需生成模型。MobiAgent 采用双循环系统进行终身学习，将高级推理与低级控制分离，并在 BEHAVIOR-1K 和 RoboCasa 等基准测试中取得了显著的成功率提升…
-
新研究解决VLA模型敏感性、效率和可靠性问题
近期研究探索了提高视觉语言动作（VLA）模型的可靠性和效率。一项题为“Rephrase Before You Act”的研究强调了VLA模型对指令措辞的敏感性，并提出了一种基于规则的系统，通过重写指令来缓解这一问题，显著提高了在分布外任务上的性能。另一篇论文“SpikingVLA”介绍了一个将人工神经网络转换为脉冲神经网络的框架，在显著提高推理效率和降低延迟的同时，实现了具有竞争力的导航性能。此外，“Sparse Feature Un…
-
新的BEV-Forcing技术提升了驾驶VLA的零样本迁移能力
研究人员开发了一种名为BEV-Forcing的方法，以提高自动驾驶领域中视觉-语言-动作模型（VLAs）的零样本迁移能力。该技术将地面物体布局信息从专门的鸟瞰图（Bird's-Eye-View）模型转移到VLA骨干网络中，鼓励模型通过共享的空间接口来表示物体位置。研究发现，在有限数量的摄像头配置下进行训练时，BEV-Forcing可以同时提高模型在分布内和分布外（out-of-distribution）的性能，但随着训练多样性的增加，…
-
DeicticVLA将语言和手势指令统一用于视觉-语言-动作模型
研究人员开发了DeicticVLA，这是一种统一视觉-语言-动作（VLA）模型不同指令模式的新方法。该系统集成了自然语言指令和指示性手势，允许单一VLA模型处理文本提示、视觉指令和指示性掩码。实验表明，这种统一的接口提高了性能，尤其是在面对未见过表达、外观变化和新颖物体的情况下，其表现优于传统的纯语言指令。
-
StreamPI框架赋予VLA模型对物理世界的时序理解能力
来自大笑机器人和香港大学的研究人员推出StreamPI，一个旨在赋予视觉-语言-动作（VLA）模型对物理世界时序理解能力的新型框架。与依赖单帧观测进行决策的传统VLA模型不同，StreamPI建立了连续的多模态时序上下文，使机器人能够记忆过去的状态，理解变化，并利用跨帧信息来增强感知和行动。这一进展使VLA模型超越了识别当前状态，能够理解正在进行的物理过程，为具身基础模型迈向连续物理智能提供了新的技术路径。
-
新的QWM框架通过世界模型增强强化学习
研究人员推出了一种新颖的QWM框架，该框架将世界模型与Q学习相结合，以提高强化学习的样本效率。该方法使用世界模型在想象的轨迹上进行测试时搜索，从而在不直接在预测状态上优化策略的情况下改进动作选择。QWM仅在真实转换上进行训练，从而避免了模型偏差的累积，并在RoboMimic和LIBERO等具有挑战性的操纵基准上展示了显著的性能提升。
-
新框架FabriMAE增强VLA模型自我评估能力
研究人员开发了FabriMAE，一个新颖的视觉-语言-动作（VLA）模型自我评估框架。该框架名为马尔可夫注意力熵（MAE），利用内部视觉模态熵来评估动作生成的可靠性，而无需外部监督。MAE将内部注意力信号转换为架构感知的可靠性分数，在大量实验中表现优于现有基线。该框架在LIBERO-Reflect基准上进行了测试，并展示了对PI系列模型鲁棒性的改进。
-
VLASH方法提升机器人VLA推理速度和准确性
研究人员开发了VLASH，一种用于提高机器人视觉-语言-动作（VLA）模型实时性能的新颖方法。传统的同步推理会导致显著的延迟，限制了VLA在动态环境中的应用。VLASH采用异步推理，使机器人能够同时执行动作和处理信息。它通过根据先前动作预测未来状态来实现这一点，在无需架构更改或增加开销的情况下弥合了预测与执行之间的差距。实验表明，VLASH将反应延迟降低了高达11.8倍，并提高了比现有异步方法的准确性，使得先进的VLA能够执行诸如乒乓…
-
具身数据金字塔组织人工智能训练数据源
一篇新论文介绍了具身数据金字塔（Embodied Data Pyramid），这是一个用于组织训练具身人工智能系统所使用的各种数据源的框架。该金字塔将数据分为五个层次：真实机器人数据、UMI风格数据、自身中心/外部中心数据、模拟数据以及通用视觉语言数据。该分类有助于分析当前的具身基础模型（包括具身大脑模型、视觉语言动作模型和世界动作模型）如何组合这些数据源来发展感知、推理和动作生成能力。作者们还强调了具身人工智能数据收集和利用方面的六…
-
新方法增强VLM到VLA的适应性以实现机器人控制 · 跟踪2个来源
两篇新的研究论文提出了将视觉语言模型（VLM）适配为机器人视觉语言动作（VLA）模型的方法。第一篇论文介绍了CLAP（因果语言-动作预测），它将自然语言描述添加到动作序列中，以在微调过程中保持VLM的能力。第二篇论文Anchor-Align使用表示锚定和语言-动作对齐来防止预训练表示被覆盖并提高泛化能力。两种方法在机器人基准测试和物理机器人测试中都显示出显著的改进。
-
板载VLM赋能机器人多智能体控制系统
研究人员开发了一种用于机器人控制的多智能体系统（MAS）架构，该架构利用板载视觉语言模型（VLM）来克服可解释性、泛化性和计算需求的限制。该系统在紧凑型硬件上部署专用智能体，无需外部云计算。在模拟的工业仓库中进行了测试，该MAS成功地通过微调的VLM管理了安全检查、维护和响应人类请求等任务。引入了一种新颖的编排智能体“Megamind”，以解决小型模型在长时域规划中的上下文保留问题，证明了经济高效的板载解决方案在现实世界机器人应用中的可行性。
-
Hugging Face论文详述用于机器人技术的VLA模型改进
Hugging Face的两篇新研究论文探讨了视觉-语言-动作（VLA）模型的进展。第一篇论文介绍了LingBot-VLA 2.0，通过扩展其训练数据以包含多样化的机器人配置和人类视频，提高了泛化能力，并增强了其动作空间以涵盖复杂操作的全身运动。第二篇论文提出了SVA，一个通过蒙特卡洛树搜索和Q值模型将动作生成与后果评估解耦，从而改进冻结VLA模型的框架，证明该方法可以以更低的延迟超越更大的模型。
-
FurnitureVLA模型解决了真实规模的双臂家具组装问题
研究人员推出FurnitureVLA，这是一种新颖的视觉-语言-动作模型，专为真实规模的复杂、长时双臂家具组装任务而设计。该模型通过联合预测动作和连续进度信号来解决多步机器人操作中的挑战，这有助于自动子任务转换并减少错误累积。该系统在模拟中表现出显著的改进，成功率从48%提高到80%，并在Kinova Gen3机器人平台上进行了验证，性能下降极小。
-
OpenFrontier 导航框架无需特定任务训练
研究人员推出 OpenFrontier，一个专为在复杂、开放世界环境中运行的机器人设计的创新导航框架。该系统通过利用视觉前沿作为语义锚点，绕过了广泛的特定任务训练或微调的需要。OpenFrontier 集成了多种视觉语言先验模型，能够在没有密集 3D 语义映射或专业策略训练的情况下实现高效导航。该框架已展示出强大的零样本性能，并已成功部署在真实的移动机器人上。
-
新型VLM代理实现文本引导的6D物体姿态重排
研究人员开发了一种新颖的方法，利用闭环视觉语言模型（VLM）代理实现文本引导的6D物体姿态重排。该方法通过使VLM能够推断出与文本一致的6D目标姿态，解决了VLM在3D理解方面的局限性。该系统会迭代地观察场景，评估指令的一致性，提出姿态更新，并渲染更新后的场景，有效地充当代理。关键技术包括多视角推理、以物体为中心的坐标系可视化和单轴旋转预测，这些技术在无需额外微调的情况下显著提高了性能，并增强了机器人操作能力。
-
WoVR 框架使用受控世界模型改进 VLA 模型强化学习
研究人员开发了 WoVR，一个新颖的框架，旨在通过使用世界模型作为模拟器来增强视觉-语言-动作 (VLA) 模型的强化学习。这种方法解决了通常阻碍策略优化的想象式 rollout 中出现的幻觉和错误累积的挑战。WoVR 通过动作条件视频世界模型提高了 rollout 的稳定性，通过关键帧初始化的 rollout 减少了有效错误深度，并通过世界模型-策略协同演进确保了策略-模拟器的一致性。实验表明，WoVR 促进了长时程想象式 roll…
-
新研究增强了用于机器人和视觉推理的VLA模型
近期研究探索了增强用于机器人操作和通用视觉推理的视觉-语言-动作（VLA）模型。研究通过域随机化和照片级真实感渲染来研究模拟到现实的泛化能力，并提出诸如 Faithful Warm-Start 等方法，通过在强化学习前确保视觉保真度来提高VLM推理的稳定性。其他工作引入了置信度驱动的测试时强化学习，无需外部奖励即可实现自我改进，以及状态感知分词器，以更好地从离散代码中解码动作。此外，研究还检查了VLA模型中的架构冗余，发现语言骨干对于…
-
新基准和方法改进了 AI 代理的不确定性量化
研究人员开发了新的方法来量化与图形用户界面 (GUI) 交互的 AI 代理以及机器人技术中使用的视觉-语言-动作模型 (VLA) 的不确定性。第一项研究“Argus”在各种代理和数据集上对 27 种方法进行了基准测试，发现不确定性排名在同一模型类别内是稳定的，但在不同模型和界面之间会下降。第二项研究为基于流匹配的 VLA 引入了速度场不一致性 (VFD)，证明了其在故障检测方面的有效性，并实现了一个名为 SAVE 的框架，该框架能够以…