Vision-Language-Action (VLA)
PulseAugur coverage of Vision-Language-Action (VLA) — every cluster mentioning Vision-Language-Action (VLA) across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的LIFT框架通过反应式力注入增强VLA策略
研究人员开发了LIFT（Late Reactive Injection of Force for VLA Post-Training，用于VLA训练后期的反应式力注入）框架，旨在提高视觉语言动作（VLA）策略的性能，特别是在接触丰富的操作任务中。该方法集成了一个反应式动作专家，该专家利用最近的力反馈在执行过程中优化动作，解决了纯视觉驱动方法的局限性。LIFT还包含一个在线DAgger循环以适应反馈变化，并在毛巾折叠和Hanoi塔放置等…
-
Lift3D-VLA通过3D几何和时序动作建模增强机器人操纵能力
研究人员推出Lift3D-VLA，一个旨在通过整合显式的3D几何推理和时序动作建模来增强机器人操纵的视觉-语言-动作（VLA）模型的新型框架。该系统利用增强的2D模型提升策略，将3D点云与现有的2D嵌入对齐，最大限度地减少信息损失。一个关键组成部分是几何中心掩码自编码（GC-MAE），这是一种自监督方法，可以重建点云并预测其未来的几何演变，使模型能够内化3D结构和物理动力学。Lift3D-VLA在模拟和真实世界的操纵任务中表现出显著的…
-
新框架增强具身代理的复杂操作能力 · 跟踪2个来源
两篇新的研究论文介绍了一种使具身代理能够执行长时程操作任务的框架。Cortex 使用一种双向对齐的具身代理框架，并带有定制的规划接口，将高层视觉语言模型（VLMs）的可执行子任务计划传达给低层视觉语言动作（VLA）模型。ACE 是另一个框架，它采用零样本工作流推理来进行桌面操作，将代理推理与可执行技能以及用于适应动态环境和执行失败的多时间尺度记忆相结合。这两种方法都旨在克服当前模型在处理复杂、多步任务方面的局限性。
-
新框架使用未标记的人类视频训练AI动作模型
研究人员开发了一个新框架，使用未标记的人类视频训练视觉-语言-动作（VLA）模型。该系统名为运动聚焦潜在动作（Motion-Focused Latent Action），采用混合解耦VQ-VAE将运动动力学与背景元素分离，创建了一个通用动作先验的码本。这种预训练方法使VLA模型能够从现成的人类视频中学习动作意图，大大减少了下游适应所需的广泛标注机器人数据集。
-
MM-Nav：多视图VLA模型增强视觉导航能力
研究人员开发了MM-Nav，一种新颖的多视图视觉-语言-动作（VLA）模型，旨在实现鲁棒的视觉导航。该模型利用预训练的大型语言和视觉基础模型，通过合成专家数据以师生方式进行训练。该系统从三个强化学习专家在不同环境中收集数据，动态平衡训练比例以优化到达、挤压和避障任务的性能。实验表明，MM-Nav 实现了强大的泛化能力，并且优于其专家教师，实际测试证实了其有效性。
-
InSight框架使VLA模型能够自主获取新的操作技能
研究人员开发了InSight，一个旨在增强视觉-语言-动作（VLA）模型技能获取能力的新框架。该系统通过将复杂任务分解为基本动作，使VLA能够自主学习新的操作技能。InSight识别新任务的缺失技能，尝试使用VLM提出的控制来演示它们，并将成功的演示整合到其训练数据中，从而在没有人为干预的情况下促进持续学习。
-
Pose6DAug框架增强了用于VLA策略的机器人数据增强 · 已追踪2个来源
研究人员开发了Pose6DAug，这是一个新颖的数据增强框架，旨在提高机器人领域中视觉-语言-动作（VLA）策略的性能。该方法利用成功的机器人操作片段，通过交换对象来生成新的训练数据，同时保留原始的物理上有效的动作轨迹。通过在3D中操作并确保跨多个视图的几何一致性渲染，Pose6DAug解决了朴素2D视频编辑的局限性。使用此增强数据对VLA策略进行微调，在对新对象的成功率方面比现有基线提高了16.5％，同时不影响对熟悉对象的性能。
-
新AI模型通过先进的记忆系统增强机器人操作 · 追踪4个来源
研究人员提出了两种通过增强记忆系统来改进机器人操作的新方法。Mem-World是一个增强记忆的多视角动作条件世界模型，通过将历史观测锚定到不断演化的表面元素来解决持久世界建模的挑战，从而能够进行几何感知的相关过去帧检索。这种方法改进了长时任务的策略评估和合成数据生成。另外，WeaveLA为视觉-语言-动作（VLA）策略提供了一个跨子任务潜在记忆接口，专门用于重复机器人操作。通过将已完成的片段压缩成潜在令牌并将其路由到下一个子任务，We…
-
ROVE框架通过不完美的人类干预改进人形操作
研究人员引入了ROVE，一个强化学习框架，旨在通过有效利用不完美的人类干预来改进人形操作。该系统通过采用乐观价值估计（OVE）来优先处理混合质量轨迹中有价值的动作，从而解决了收集高质量干预数据方面的挑战。ROVE还整合了跨具身人类经验视频，以加强对失败和恢复模式的监督，最终在复杂操作任务上优于现有基线。
-
新的GAM框架增强了具身AI的泛化能力
研究人员开发了一个名为广义动作流形（GAM）的新框架，以提高具身智能任务中的泛化能力。GAM通过将空间路径几何与时间动力学解耦，并将轨迹映射到规范的“世界线”，来强制执行广义协方差。这种方法旨在使策略对速度和运动风格的变化更加鲁棒，从而能够从有限的数据中实现更好的迁移和泛化。