Vision-Language-Action (VLA)
PulseAugur coverage of Vision-Language-Action (VLA) — every cluster mentioning Vision-Language-Action (VLA) across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架使VLA驾驶的监督与策略优化保持一致
研究人员开发了一个新框架，通过将多轨迹模仿学习与策略优化相结合，来改进视觉-语言-动作（VLA）驾驶方法。所提出的方法通过引入不可行的行为分布来解决高分轨迹可能导致性能下降的问题。通过约束增强轨迹并使用帕累托最优标准，系统可以过滤掉冲突的样本，并确保将扩展的轨迹监督有效地整合到策略优化中。这种方法在驾驶基准测试中提高了性能，并显著恢复了最初失败的场景。
-
新的VLA模型通过多专家推理和多模态交互增强自动驾驶能力
两篇新的研究论文探讨了用于自动驾驶的先进视觉-语言-动作（VLA）模型。第一篇论文CoWorld-VLA介绍了一个多专家世界推理框架，该框架使用专门的token来条件化动作规划，并在NAVSIM数据集上展示了改进的性能。第二篇论文提出了一个通过关注多模态交互和多轨迹规划来增强VLA模型的系统，旨在实现更可靠和可解释的驾驶决策，尤其是在挑战性场景下。
-
新的自动驾驶模型通过记忆增强从过去的故障中学习
研究人员推出了一种新颖的视觉-语言-动作（VLA）模型DriveVLA-M0，旨在通过从过去的故障中学习来改进自动驾驶系统。该模型包含一个故障感知的潜在记忆，用于存储问题场景和专家轨迹。在推理过程中，一种检索机制会识别过去的类似故障，并使用一种轻量级的基于LoRA的训练方法来实时纠正模型的行为，而无需改变核心架构。在NAVSIMv1和NAVSIMv2基准上的实验表明，DriveVLA-M0在Navtest和Navhard上取得了高分，…
-
新的WAM-Diff2框架提升了自动驾驶VLA模型的效率
研究人员开发了WAM-Diff2，一个旨在提高自动驾驶视觉-语言-动作（VLA）模型效率的新框架。该框架采用分层蒸馏策略，将预训练的自回归模型转换为更高效的扩散模型。该过程包括渐进式块自适应、块蒸馏和模型级跨尺度蒸馏，这有助于在显著加快推理速度的同时保持原始模型的语义理解。评估表明，WAM-Diff2在性能上与自回归模型相当，并提供了显著的解码速度提升，系统级优化进一步增强了这一点。
-
新的LIFT框架通过反应式力注入增强VLA策略
研究人员开发了LIFT（Late Reactive Injection of Force for VLA Post-Training，用于VLA训练后期的反应式力注入）框架，旨在提高视觉语言动作（VLA）策略的性能，特别是在接触丰富的操作任务中。该方法集成了一个反应式动作专家，该专家利用最近的力反馈在执行过程中优化动作，解决了纯视觉驱动方法的局限性。LIFT还包含一个在线DAgger循环以适应反馈变化，并在毛巾折叠和Hanoi塔放置等…
-
新的VLA模型通过远见和大规模数据增强机器人操作能力
研究人员开发了新的方法来提高机器人领域中视觉-语言-动作（VLA）模型的性能，特别是在复杂、长周期的任务方面。一种方法是“远见残差强化学习”（Foresight Residual RL），它通过引入预测未来子任务成功率的远见值来增强信用分配，从而显著提高整体任务完成率。另一项开发是Xiaomi-Robotics-1，它使用超过10万小时的真实世界机器人轨迹和一个自动标注流程来扩展VLA模型，在各种基准测试中展示了强大的性能和高效的微调…
-
Lift3D-VLA通过3D几何和时序动作建模增强机器人操纵能力
研究人员推出Lift3D-VLA，一个旨在通过整合显式的3D几何推理和时序动作建模来增强机器人操纵的视觉-语言-动作（VLA）模型的新型框架。该系统利用增强的2D模型提升策略，将3D点云与现有的2D嵌入对齐，最大限度地减少信息损失。一个关键组成部分是几何中心掩码自编码（GC-MAE），这是一种自监督方法，可以重建点云并预测其未来的几何演变，使模型能够内化3D结构和物理动力学。Lift3D-VLA在模拟和真实世界的操纵任务中表现出显著的…
-
新框架增强具身代理的复杂操作能力 · 跟踪2个来源
两篇新的研究论文介绍了一种使具身代理能够执行长时程操作任务的框架。Cortex 使用一种双向对齐的具身代理框架，并带有定制的规划接口，将高层视觉语言模型（VLMs）的可执行子任务计划传达给低层视觉语言动作（VLA）模型。ACE 是另一个框架，它采用零样本工作流推理来进行桌面操作，将代理推理与可执行技能以及用于适应动态环境和执行失败的多时间尺度记忆相结合。这两种方法都旨在克服当前模型在处理复杂、多步任务方面的局限性。
-
新框架使用未标记的人类视频训练AI动作模型
研究人员开发了一个新框架，使用未标记的人类视频训练视觉-语言-动作（VLA）模型。该系统名为运动聚焦潜在动作（Motion-Focused Latent Action），采用混合解耦VQ-VAE将运动动力学与背景元素分离，创建了一个通用动作先验的码本。这种预训练方法使VLA模型能够从现成的人类视频中学习动作意图，大大减少了下游适应所需的广泛标注机器人数据集。
-
MM-Nav：多视图VLA模型增强视觉导航能力
研究人员开发了MM-Nav，一种新颖的多视图视觉-语言-动作（VLA）模型，旨在实现鲁棒的视觉导航。该模型利用预训练的大型语言和视觉基础模型，通过合成专家数据以师生方式进行训练。该系统从三个强化学习专家在不同环境中收集数据，动态平衡训练比例以优化到达、挤压和避障任务的性能。实验表明，MM-Nav 实现了强大的泛化能力，并且优于其专家教师，实际测试证实了其有效性。
-
InSight框架使VLA模型能够自主获取新的操作技能
研究人员开发了InSight，一个旨在增强视觉-语言-动作（VLA）模型技能获取能力的新框架。该系统通过将复杂任务分解为基本动作，使VLA能够自主学习新的操作技能。InSight识别新任务的缺失技能，尝试使用VLM提出的控制来演示它们，并将成功的演示整合到其训练数据中，从而在没有人为干预的情况下促进持续学习。
-
Pose6DAug框架增强了用于VLA策略的机器人数据增强 · 已追踪2个来源
研究人员开发了Pose6DAug，这是一个新颖的数据增强框架，旨在提高机器人领域中视觉-语言-动作（VLA）策略的性能。该方法利用成功的机器人操作片段，通过交换对象来生成新的训练数据，同时保留原始的物理上有效的动作轨迹。通过在3D中操作并确保跨多个视图的几何一致性渲染，Pose6DAug解决了朴素2D视频编辑的局限性。使用此增强数据对VLA策略进行微调，在对新对象的成功率方面比现有基线提高了16.5％，同时不影响对熟悉对象的性能。
-
新AI模型通过先进的记忆系统增强机器人操作 · 追踪4个来源
研究人员提出了两种通过增强记忆系统来改进机器人操作的新方法。Mem-World是一个增强记忆的多视角动作条件世界模型，通过将历史观测锚定到不断演化的表面元素来解决持久世界建模的挑战，从而能够进行几何感知的相关过去帧检索。这种方法改进了长时任务的策略评估和合成数据生成。另外，WeaveLA为视觉-语言-动作（VLA）策略提供了一个跨子任务潜在记忆接口，专门用于重复机器人操作。通过将已完成的片段压缩成潜在令牌并将其路由到下一个子任务，We…
-
ROVE框架通过不完美的人类干预改进人形操作
研究人员引入了ROVE，一个强化学习框架，旨在通过有效利用不完美的人类干预来改进人形操作。该系统通过采用乐观价值估计（OVE）来优先处理混合质量轨迹中有价值的动作，从而解决了收集高质量干预数据方面的挑战。ROVE还整合了跨具身人类经验视频，以加强对失败和恢复模式的监督，最终在复杂操作任务上优于现有基线。
-
新的GAM框架增强了具身AI的泛化能力
研究人员开发了一个名为广义动作流形（GAM）的新框架，以提高具身智能任务中的泛化能力。GAM通过将空间路径几何与时间动力学解耦，并将轨迹映射到规范的“世界线”，来强制执行广义协方差。这种方法旨在使策略对速度和运动风格的变化更加鲁棒，从而能够从有限的数据中实现更好的迁移和泛化。