Vision-language-action model
PulseAugur coverage of Vision-language-action model — every cluster mentioning Vision-language-action model across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
AI研究人员开发VLA架构以实现机器人实时控制
研究人员正在开发专门的视觉-语言-动作(VLA)架构,以使AI模型能够实时控制机器人系统。这些架构旨在弥合高级语义推理与机器人技术所需的高频物理控制之间的差距。拆分推理和模块化流水线等技术,集成了视觉编码器、语言主干和动作专家,对于在物理硬件上实现低延迟执行至关重要。
-
新的强化学习框架通过流整流增强VLA策略训练
研究人员开发了一个新的强化学习框架,以改进基于流的视觉-语言-动作(VLA)策略的训练。该框架名为成果平衡近端策略优化(PPO)结合策略诱导流整流,解决了优化过程中几何形状变化和稀疏多任务回放带来的学习信号不均等问题。通过根据任务成功率重新加权优势并拟合线性桥流,该方法旨在增强优化行为和流一致性,在模拟操作基准和Real2Sim2Real任务上显示出更高的成功率。
-
新的 HiMEM 系统增强了 3D 场景中的 VLA 模型
研究人员开发了 HiMEM,这是一个受人类海马体启发的创新记忆巩固系统,旨在提高视觉-语言-动作 (VLA) 模型在复杂 3D 环境中的性能。HiMEM 通过将情景体验巩固为语义记忆、修剪不必要的叙事数据以及组合多种记忆类型以增强泛化能力,来解决记忆噪声和冗余问题。在 LIBERO 和 LIBERO-Plus 基准测试上的实验表明,任务成功率显著提高,平均成功率从 91.88% 提高到 98.20%。
-
机器人通过模拟反馈学习操作任务,而非权重更新
研究人员引入了世界上下文学习(World In-Context Learning, WICL),一种新的机器人操作范式,它利用一个固定的模型通过模拟和反馈来学习任务,而不是更新模型的权重。这种方法在RoboScript基础设施中实现,在RoboTwin 2.0基准测试的50个任务中达到了83.4%的平均成功率,比经过训练的策略在每个任务仅一次演示的情况下高出20多个百分点。该方法展示了跨视觉分布的泛化能力,并成功迁移到一台实体双臂机器人上。
-
新的SACQ框架实现了VLA模型的超低比特量化
研究人员开发了SACQ,一种用于将视觉-语言-动作(VLA)模型量化为超低比特精度的新型框架。该方法通过采用结构感知码本拟合和动作感知混合比特分配,解决了资源受限的机器人平台上VLA模型的内存占用限制问题。SACQ显著减少了模型内存,并在LIBERO和SimplER等基准套件上保持了高成功率,即使在极低的比特率下也是如此。
-
VLA 模型策略在多样化机器人任务中未能泛化
一篇新的研究论文评估了视觉-语言-动作 (VLA) 模型的推理和数据收集策略,特别关注 BEHAVIOR-1K 数据集中的 $\pi_{0.5}$ 模型。研究发现,在小规模环境中有效的策略并不能一致地迁移到更大、更多样化的任务套件中。该研究使用了一个微调后的 $\pi_{0.5}$ 模型,该模型在 BEHAVIOR Challenge 的公开测试集上取得了 0.39 的 Q 分。
-
新框架HiFOR通过分层预见增强机器人操作能力
研究人员推出了一种新颖的分层预见框架HiFOR,旨在增强用于机器人操作的视觉-语言-动作(VLA)模型。该框架通过联合预测不同时间跨度下的未来状态,并根据当前动作需求自适应地检索相关未来信息来改进动作生成。HiFOR的组成部分包括分层预见预测、结构感知潜在世界建模以及动作引导的因子化世界检索,这些共同为机器人动作提供了更具针对性的指导。在模拟和真实世界任务上的实验表明了该方法的有效性。
-
新的RePO-VLA框架增强了机器人模型的鲁棒性
研究人员开发了RePO-VLA,一个旨在提高视觉-语言-动作(VLA)模型在复杂操作任务中鲁棒性的新框架。该方法通过纳入处理执行漂移和从失败尝试中学习的策略,解决了当前模型的脆弱性问题。RePO-VLA为成功、恢复和失败轨迹采用了不同的角色,引入了面向恢复的初始化和面向进度的语义价值函数,以更好地指导纠正性动作。该框架在鲁棒性方面取得了显著改进,在模拟和现实世界的双臂任务中,对抗性成功率从20%提高到平均75%。
-
新的R2A框架增强了VLA策略在视觉变化下的鲁棒性
研究人员开发了一个名为Retrieve to Act (R2A)的新框架,以提高视觉-语言-动作(VLA)策略在执行过程中应对视觉变化的鲁棒性。R2A将成功的训练演示构建成一个运动原语图,在推理过程中用于检索兼容的未来运动原语。这种几何先验与VLA预测的动作相协调,在保持局部反应性的同时纠正错误的空间轨迹。实验表明,R2A在各种VLA架构和基准测试中显著增强了鲁棒性,在无需策略微调的情况下大幅提高了成功率。
-
新框架通过自适应推理和通信增强自动驾驶能力
研究人员开发了三个不同的框架来推进自动驾驶能力。IntNet 通过多智能体强化学习,使智能体能够共享意图并调整通信计划,从而降低碰撞率和通信开销,从而提高安全性。CLAP-AD 引入了一种规划范式,将路径学习与速度评分分开,允许在测试时控制速度选择,而无需进行速度条件训练,并在速度依从性方面取得了最先进的性能。AdaThinkDrive 采用受快慢思考启发的双模式推理机制,允许模型仅在必要时选择性地应用复杂推理(如思维链),从而平衡准确性和效率。
-
RoboDuo框架通过基于代码的原子恢复增强VLA模型
研究人员推出RoboDuo,一个旨在增强视觉-语言-动作(VLA)模型性能的新框架,特别适用于长时序任务。该闭环系统利用代码作为编码代理和两个VLA之间的接口。代理通过指示一个全任务VLA尝试整个任务,然后检查完成情况来协调任务执行。如果任务失败,则采用一个原子VLA来完成剩余步骤。RoboDuo在包括LIBERO和LIBERO-PRO数据集在内的各种基准测试中表现出持续的改进,并在物理机器人上成功恢复了失败的推出,而无需修改底层VLA的权重。
-
新的arXiv论文探讨VLA模型的安全联邦适应
一篇新的arXiv论文探讨了使用联邦学习安全地适应视觉-语言-动作(VLA)模型所面临的挑战和要求。研究强调了在不同任务、环境和机器人实体中共享源自多样化人类修正的适应性所带来的复杂性。关键问题包括保留多模态修正的上下文和不确定性,在部署前进行闭环评估候选更新,以及评估证据泄露和安全关键信息。
-
新型脉冲神经元模型大幅降低机器人VLA能耗
研究人员开发了一种名为二的幂泄漏整合发放(PoT-LIF)的新型脉冲神经元模型,旨在降低机器人中使用的视觉-语言-动作(VLA)模型的能耗。该新模型发出具有二的幂幅度的带符号脉冲,允许通过离散脉冲表示连续信息。当集成到$\pi_{0.5}$ VLA模型中时,PoT-LIF在能耗显著降低的情况下,取得了与原始连续激活模型相当的成功率,模型算术能耗降低了86.95%。
-
直接动作模型统一了机器人控制中的VLA和WAM方法
研究人员推出了一种新颖的机器人控制框架——直接动作模型(Just Action Model, JAM),该框架将策略训练的关键组件解耦。JAM分离了骨干初始化、未来观测目标和推理机制,从而能够以降低的计算需求进行前瞻性训练。该方法旨在通过提供一个统一的框架来解决视觉-语言-动作(VLA)和世界-动作模型(WAM)社区之间的争论。JAM策略在LIBERO和LIBERO-Plus等基准测试中表现出优越的性能,在RoboTwin上取得了可比…
-
ThinkWorld框架利用世界动力学和想象力增强机器人泛化能力
研究人员推出了一种新颖的框架ThinkWorld,旨在增强机器人视觉-语言-动作(VLA)模型的泛化能力。该系统将动作推理与世界动力学相结合,并利用带有“世界想象力”的强化学习,从缺乏显式动作标注的人类视频中进行学习。ThinkWorld将动作表示为动态链(Chain-of-Dynamics, CoD),即捕获中间动力学的运动标记序列,使模型能够从无标签视频中观察到的状态转移中学习。在模拟和真实机器人上的实验表明,该方法能够有效地实现…
-
发布了新的优化和强化学习基准测试
研究人员推出 GNBG-C,这是一个新的基准测试生成器,旨在为约束连续优化问题创建可配置的测试实例。该工具将可行区域视为一个可配置对象,从而可以进行系统性研究,使研究人员能够分析优化器如何处理约束压力并发现可行性。此外,RobustRLlib 被开发为鲁棒强化学习算法的统一库和基准测试,集成了 17 种算法,并为现实世界的变化和高级任务提供了评估平台。
-
新方法利用VLA模型激活预测机器人任务失败
研究人员开发了一种方法,用于预测机器人领域中视觉语言行动(VLA)模型的任务失败。通过分析VLA激活的稀疏自编码器(SAE)表示,他们可以在机器人达到无法挽回的状态之前,识别出预示即将失败的模式。这种方法还可以解释与成功或失败阶段相关的特定SAE特征,从而提供这些模式的行为描述。
-
新基准测试揭示家庭机器人难以适应障碍物安全运动
研究人员开发了OSMA-Bench,这是一个新的基准测试,旨在评估家庭机器人导航系统如何根据障碍物的类型和接近程度调整其运动。研究发现,当前的视觉-语言模型(VLM)和视觉-语言-动作(VLA)策略通常无法将其对障碍物安全的理解转化为速度、间隙和流畅度的适当调整。虽然这些策略可以识别有风险的障碍物,但它们不会相应地持续修改其运动参数,这表明在将语义理解与物理动作联系起来方面存在差距。
-
新的VLA模型通过先进的记忆框架提升长时任务性能
两篇新的研究论文介绍了一种用于视觉-语言-动作(VLA)模型的新型记忆框架,以提高它们在长时任务上的性能。第一个,CogMemory,使用变分认知记忆框架,通过潜在表示和动态交叉注意力选择性地保留和重用与任务相关的历史信息。第二个,GeoMem-VLA,将显式三维场景理解内化为专门的几何令牌,这些令牌被维护为用于动作生成的时序记忆,在机器人操作基准测试中取得了很高的成功率。
-
新的VLA-Retain基准测试揭示视觉调优损害机器人模型鲁棒性
引入了一个名为VLA-Retain的新基准测试,用于评估视觉-语言-动作(VLA)模型在机器人领域中的视觉调优影响。该基准测试表明,对这些模型进行特定任务的微调,例如处理摄像头视角或传感器噪声数据,通常会导致在其他相关任务上的性能下降。这种跨维度效应,即目标条件下的收益并不能预测保留性,甚至可能导致其他方面的性能损失,凸显了在调整VLA模型时,除了目标收益外,还需要考虑保留性的必要性。