Vision-Language-Action (VLA)
PulseAugur coverage of Vision-Language-Action (VLA) — every cluster mentioning Vision-Language-Action (VLA) across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
ForeAct3D框架将机器人世界模型与计划动作相结合
研究人员开发了ForeAct3D，一个旨在提高机器人视觉-语言-动作（VLA）策略世界建模能力的新框架。与以往将未来观测独立于计划动作进行预测的方法不同，ForeAct3D将其未来世界预测与策略打算执行的具体动作相结合。该方法融入了物理约束，例如物体刚性和静态背景，以确保预测的未来状态是现实的。该框架在LIBERO和CALVIN等机器人基准测试中展示了显著的性能提升，并在实际操作任务中提高了成功率。
-
AUGUstus VLA模型统一生成与理解能力，赋能自动驾驶
研究人员开发了AUGUstus，这是一种新颖的视觉-语言-动作（VLA）模型，专为自动驾驶设计，它统一了动作生成和理解，以克服现有VLA系统的局限性。与以往的模型要么退化为简单的视觉-动作系统，要么因自回归生成而导致高延迟不同，AUGUstus采用了基于扩散的方法进行动作生成，并采用自回归方法进行思维链（CoT）理解。这种统一的架构允许低延迟部署，同时通过在训练过程中使用CoT来监督动作生成，确保了更安全、更精确的轨迹。实验表明，AU…
-
新的JitterVLA基准提高了机器人运动的平滑度
研究人员开发了JitterVLA，这是一个旨在评估和改进视觉语言动作（VLA）驱动的人机操作运动质量的新基准。该基准通过替代控制器重放相同的命令和到达轨迹，以隔离控制器对运动平滑度的影响。初步测试表明，在200毫秒延迟的人类运动场景中，插值技术可将加加速度（衡量运动突然性的指标）降低高达83%，同时保持较低的跟踪成本。
-
ActionCodec 通过优化的动作分词技术推进 VLA 模型
研究人员推出 ActionCodec，一种用于视觉-语言-动作 (VLA) 模型的新型动作分词方法。该方法侧重于优化 VLA 性能，而不仅仅是重建保真度，并确立了最大化时间分词重叠和最小化词汇冗余等设计原则。当应用于 SmolVLM2-2.2B 模型时，ActionCodec 在 LIBERO 基准测试上取得了 95.5% 的成功率，且无需先前的机器人训练，为 VLA 模型树立了新的最先进水平。
-
Robo-COP系统使机器人能够通过部署进行学习和改进
研究人员推出了一种名为Robo-COP的新颖系统，旨在使机器人能够通过实际部署进行学习和改进。该系统允许机器人协调器和策略共同演进，协调器通过精调策略和解决反复出现的故障来整理执行中的数据。Robo-COP在模拟任务和实际任务的成功率方面均取得了显著改进，将部署变成了一个自我改进的学习循环。
-
DiVeR 方法增强了 VLA 策略中的机器人动作选择
研究人员开发了 DiVeR，一种通过在测试时扩展中关注决策关键状态来改进视觉-语言-动作 (VLA) 策略的新方法。该方法通过将学习过程重新加权到对任务成功影响最大的动作选择状态，来解决机器人数据成本高昂的问题。DiVeR 根据采样动作表示的离散度来估计这种决策关键性，而无需逐步标注。在 LIBERO 和 RoboCasa 等模拟环境以及真实的 Franka Research 3 机器人上的实验表明，DiVeR 在最小的额外推理开销下…
-
新框架利用演化策略改进机器人操作策略
研究人员开发了一个名为Online-ES的在线自适应框架，用于机器人操作中使用的流匹配视觉-语言-动作（VLA）模型。该方法通过在动作轨迹空间中直接探索来优化学习到的动作轨迹分布，并利用交互反馈来提高策略性能。实验表明，Online-ES在不需要价值模型或优势计算的情况下，取得了与强化学习微调相当的结果，并且它会纳入失败经验，引导策略避开不成功的区域。
-
GroundingPI模型通过视觉原语推进物理智能
一个名为GroundingPI的新的40亿参数接地基础模型已被推出，旨在通过视觉原语推进物理智能。该模型在34个接地基准测试中确立了新的最先进水平，性能优于GPT-6 Astra等更大的模型。GroundingPI在机器人操作和自动驾驶任务中展示了显著的改进，显示出增强的泛化能力和数据效率，尤其是在分布外场景中。
-
New VLA policy self-compensates for robot execution errors
研究人员开发了一种能够自我补偿的视觉-语言-动作（VLA）策略，旨在适应现实世界中的机器人执行错误。该方法通过学习指令运动与执行运动之间的差异来在线更新 VLA 策略，而无需任务奖励或标签。为了严格测试 VLA 的鲁棒性，创建了一个名为 RoboStress 的新模拟基准，其中包含各种机械和操作错误模型。自我补偿的 VLA 在模拟和物理机械臂上的任务成功率方面均有显著提高，即使面对训练中未遇到的物体也是如此。
-
新框架使VLA驾驶的监督与策略优化保持一致
研究人员开发了一个新框架，通过将多轨迹模仿学习与策略优化相结合，来改进视觉-语言-动作（VLA）驾驶方法。所提出的方法通过引入不可行的行为分布来解决高分轨迹可能导致性能下降的问题。通过约束增强轨迹并使用帕累托最优标准，系统可以过滤掉冲突的样本，并确保将扩展的轨迹监督有效地整合到策略优化中。这种方法在驾驶基准测试中提高了性能，并显著恢复了最初失败的场景。
-
新的VLA模型通过多专家推理和多模态交互增强自动驾驶能力
两篇新的研究论文探讨了用于自动驾驶的先进视觉-语言-动作（VLA）模型。第一篇论文CoWorld-VLA介绍了一个多专家世界推理框架，该框架使用专门的token来条件化动作规划，并在NAVSIM数据集上展示了改进的性能。第二篇论文提出了一个通过关注多模态交互和多轨迹规划来增强VLA模型的系统，旨在实现更可靠和可解释的驾驶决策，尤其是在挑战性场景下。
-
新的自动驾驶模型通过记忆增强从过去的故障中学习
研究人员推出了一种新颖的视觉-语言-动作（VLA）模型DriveVLA-M0，旨在通过从过去的故障中学习来改进自动驾驶系统。该模型包含一个故障感知的潜在记忆，用于存储问题场景和专家轨迹。在推理过程中，一种检索机制会识别过去的类似故障，并使用一种轻量级的基于LoRA的训练方法来实时纠正模型的行为，而无需改变核心架构。在NAVSIMv1和NAVSIMv2基准上的实验表明，DriveVLA-M0在Navtest和Navhard上取得了高分，…
-
新的WAM-Diff2框架提升了自动驾驶VLA模型的效率
研究人员开发了WAM-Diff2，一个旨在提高自动驾驶视觉-语言-动作（VLA）模型效率的新框架。该框架采用分层蒸馏策略，将预训练的自回归模型转换为更高效的扩散模型。该过程包括渐进式块自适应、块蒸馏和模型级跨尺度蒸馏，这有助于在显著加快推理速度的同时保持原始模型的语义理解。评估表明，WAM-Diff2在性能上与自回归模型相当，并提供了显著的解码速度提升，系统级优化进一步增强了这一点。
-
新的LIFT框架通过反应式力注入增强VLA策略
研究人员开发了LIFT（Late Reactive Injection of Force for VLA Post-Training，用于VLA训练后期的反应式力注入）框架，旨在提高视觉语言动作（VLA）策略的性能，特别是在接触丰富的操作任务中。该方法集成了一个反应式动作专家，该专家利用最近的力反馈在执行过程中优化动作，解决了纯视觉驱动方法的局限性。LIFT还包含一个在线DAgger循环以适应反馈变化，并在毛巾折叠和Hanoi塔放置等…
-
新的VLA模型通过远见和大规模数据增强机器人操作能力
研究人员开发了新的方法来提高机器人领域中视觉-语言-动作（VLA）模型的性能，特别是在复杂、长周期的任务方面。一种方法是“远见残差强化学习”（Foresight Residual RL），它通过引入预测未来子任务成功率的远见值来增强信用分配，从而显著提高整体任务完成率。另一项开发是Xiaomi-Robotics-1，它使用超过10万小时的真实世界机器人轨迹和一个自动标注流程来扩展VLA模型，在各种基准测试中展示了强大的性能和高效的微调…
-
Lift3D-VLA通过3D几何和时序动作建模增强机器人操纵能力
研究人员推出Lift3D-VLA，一个旨在通过整合显式的3D几何推理和时序动作建模来增强机器人操纵的视觉-语言-动作（VLA）模型的新型框架。该系统利用增强的2D模型提升策略，将3D点云与现有的2D嵌入对齐，最大限度地减少信息损失。一个关键组成部分是几何中心掩码自编码（GC-MAE），这是一种自监督方法，可以重建点云并预测其未来的几何演变，使模型能够内化3D结构和物理动力学。Lift3D-VLA在模拟和真实世界的操纵任务中表现出显著的…
-
新框架增强具身代理的复杂操作能力 · 跟踪2个来源
两篇新的研究论文介绍了一种使具身代理能够执行长时程操作任务的框架。Cortex 使用一种双向对齐的具身代理框架，并带有定制的规划接口，将高层视觉语言模型（VLMs）的可执行子任务计划传达给低层视觉语言动作（VLA）模型。ACE 是另一个框架，它采用零样本工作流推理来进行桌面操作，将代理推理与可执行技能以及用于适应动态环境和执行失败的多时间尺度记忆相结合。这两种方法都旨在克服当前模型在处理复杂、多步任务方面的局限性。
-
新框架使用未标记的人类视频训练AI动作模型
研究人员开发了一个新框架，使用未标记的人类视频训练视觉-语言-动作（VLA）模型。该系统名为运动聚焦潜在动作（Motion-Focused Latent Action），采用混合解耦VQ-VAE将运动动力学与背景元素分离，创建了一个通用动作先验的码本。这种预训练方法使VLA模型能够从现成的人类视频中学习动作意图，大大减少了下游适应所需的广泛标注机器人数据集。
-
MM-Nav：多视图VLA模型增强视觉导航能力
研究人员开发了MM-Nav，一种新颖的多视图视觉-语言-动作（VLA）模型，旨在实现鲁棒的视觉导航。该模型利用预训练的大型语言和视觉基础模型，通过合成专家数据以师生方式进行训练。该系统从三个强化学习专家在不同环境中收集数据，动态平衡训练比例以优化到达、挤压和避障任务的性能。实验表明，MM-Nav 实现了强大的泛化能力，并且优于其专家教师，实际测试证实了其有效性。
-
InSight框架使VLA模型能够自主获取新的操作技能
研究人员开发了InSight，一个旨在增强视觉-语言-动作（VLA）模型技能获取能力的新框架。该系统通过将复杂任务分解为基本动作，使VLA能够自主学习新的操作技能。InSight识别新任务的缺失技能，尝试使用VLM提出的控制来演示它们，并将成功的演示整合到其训练数据中，从而在没有人为干预的情况下促进持续学习。