SmolVLA
PulseAugur coverage of SmolVLA — every cluster mentioning SmolVLA across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的VLA模型提高了机器人操作的鲁棒性和可解释性
研究人员开发了CoBoVLA,一个新颖的2.5亿参数视觉-语言-动作(VLA)模型,旨在提高机器人操作的鲁棒性和可解释性。与先前联合处理语言和动作的模型不同,CoBoVLA使用学习到的离散代码将这些功能解耦。这种方法将指令映射到步骤代码,然后由视觉规划器将其转换为由与语言无关的执行器执行的动作序列。这种架构显著提高了对释义指令的性能,并通过追溯到特定阶段,更容易诊断故障。
-
新研究探讨视觉语言模型进展与安全性
arXiv 上发表的多篇研究论文探讨了视觉语言模型 (VLM) 的进展。ViLFlow 引入了一种并行生成方法,以改进 VQA 和图像字幕。MoMoVL 专注于设备上 VLM 的模态感知自适应压缩,特别是那些使用混合专家架构的模型。RePlan-VLA 提供了一个框架,通过基于进度的重新规划来增强长时机器人操作任务中的 VLA 模型。其他研究调查了 VLM 的基础能力、偏好优化对对象覆盖的影响以及视觉语言融合的缩放定律,同时还研究了诊…
-
逐际动力 FluxVLA Engine V2 简化具身智能开发
逐际动力 (LimX Dynamics) 发布了其开源工程基础 FluxVLA Engine 的第二个版本,旨在简化具身智能的开发和部署。此次更新通过集成在线强化学习、扩展模拟评估以及验证真实硬件部署来增强能力。该引擎旨在标准化开发流程,使研究人员能够复用工程基础设施,并将精力集中在推进模型能力上,而不是重复性的设置任务。
-
新的回溯方法提高了机器人VLA模型的可靠性
研究人员开发了一种名为回溯(Backtrack)的新方法,以提高机器人操作中视觉-语言-动作(VLA)模型的可靠性。这种轻量级机制可以在不要求额外训练数据、策略重新训练或单独的推理时间模型的情况下,检测并从失败中恢复。回溯方法通过使用一个小型的预测头来估计基于VLA内部表示的失败可能性。当预测到失败时,系统会暂停当前动作,回溯最近的运动,并允许VLA从早期状态重试,从而显著降低复杂机器人任务的失败率并提高成功率。
-
SmolVLA-MoE 通过稀疏专家混合模型增强机器人操作能力
研究人员推出了一种新颖的框架 SmolVLA-MoE,该框架通过引入稀疏专家混合(MoE)方法来增强用于机器人操作的视觉-语言-动作(VLA)模型。该方法用多个专家前馈网络(FFN)和一个路由器替换了密集的前馈网络(FFN)层,允许每个 token 动态选择最适合动作生成的专家。SmolVLA-MoE 在推理过程中仅激活一个专家 FFN,利用约 5 亿激活参数,同时受益于总共 8 亿存储参数。在 LIBERO 基准测试上的评估表明,S…
-
新方法可从单个模型估算机器人策略不确定性
研究人员开发了一种新颖的方法来估算视觉-语言-动作(VLA)策略中的认知不确定性,这对于机器人识别知识差距和请求协助至关重要。这种新方法称为事后核方差头(post-hoc kernel-variance heads),可以从单个策略的嵌入中推导出不确定性估计,无需进行多次策略训练或执行。使用SmolVLA在LIBERO-10数据集上的实验表明,这些核方差头在预测任务成功和获取演示方面与集成方法相当,同时显著降低了计算成本和设置时间。
-
研究揭示VLA模型的运动程序与绝对坐标绑定,忽略场景变化
研究人员对视觉-语言-动作(VLA)模型进行了机制可解释性研究,发现其运动程序通常与绝对坐标绑定,并且会忽略视觉场景的变化。这种与固定坐标的绑定解释了为什么这些模型在环境发生变化时会显得脆弱。研究还发现,指令编码和运动生成可以在不同架构中分离,一些模型在仅凭场景就能识别目标时会优先考虑视觉信息。
-
VLA-Rolling 框架通过复用丢弃的动作,为更快的、更准确的 VLA 模型提供支持
研究人员开发了 VLA-Rolling,一个改进视觉-语言-动作 (VLA) 模型效率和控制的新框架。该方法通过自适应地根据置信度估计来优化这些复用的尾部,而不是从头开始重新生成,从而复用先前规划周期中丢弃的动作尾部。VLA-Rolling 可以在各种基准测试和模型上实现更快的推理时间和更高的成功率。
-
新框架WareFly-VLA支持仓库中语言引导的无人机控制
研究人员推出WareFly-VLA,这是一个专为视觉-语言-动作(VLA)模型在智能仓库中控制无人机(UAV)设计的框架和数据集。该框架包含人类遥操作飞行片段和同步控制命令的数据集,旨在实现语言引导的人类搜索和追踪。使用四个开源VLA架构进行的评估揭示了空中平台泛化和连续动作建模方面的挑战。
-
新研究探讨VLA模型效率和延迟权衡 · 跟踪2个来源
两篇新研究论文探讨了视觉-语言-动作(VLA)模型的效率和性能。第一篇论文分析了SmolVLA,展示了ONNX等部署优化如何显著降低延迟,但可能会影响任务成功率,尤其是在空间任务中。第二篇论文研究了高效VLA模型的设计,发现动作头初始化对性能至关重要,并且当前的扩展实践在准确性方面可能会带来边际效益递减的延迟。
-
新的GUARD方法可检测扩散模型视觉-语言-动作策略的故障
研究人员开发了GUARD,一种用于检测扩散模型视觉-语言-动作(VLA)策略故障的新颖方法。GUARD在测试时通过分析模型键值缓存中特定token对生成动作的影响来工作。它通过创建关键条目被烧蚀的反事实场景,并将由此产生的去噪响应与原始响应进行比较来实现这一点。这种方法产生了敏感性、注意力熵、模态偏差和接地效率等诊断流,然后由一个轻量级的时间分类器处理以识别潜在的故障。
-
新框架增强轻量级机器人控制模型
研究人员开发了XS-VLA,一个新颖的两阶段框架,旨在利用轻量级视觉语言模型增强机器人控制。该框架解决了大型模型在实时应用中的局限性以及小型模型的“空间盲区”问题。XS-VLA首先将来自大型模型Qwen3-VL-4B的空间知识蒸馏到一个小型SmolVLM2-0.25B骨干网络中,以提高其空间基础能力。然后,这个增强的骨干网络会条件化一个潜在流匹配策略,该策略使用CVAE和流匹配动力学来建模复杂的动作分布。
-
CorridorVLA 为生成式动作模型引入显式空间约束
研究人员引入了 CorridorVLA,一种新颖的视觉-语言-动作 (VLA) 模型方法,该方法显式地纳入了空间约束。与先前隐式嵌入空间指导的方法不同,CorridorVLA 将稀疏空间锚点预测为增量物理变化。这些锚点定义了一个容差走廊,通过走廊外的轨迹的校正梯度和走廊内的轨迹的精炼目标来指导动作生成过程。该方法在 LIBERO 和 LIBERO-Plus 等基准测试中取得了显著的改进,其中一个策略在多任务设置中实现了 83.21% 的成功率。
-
数据投毒攻击被发现对开源机器人模型具有实用性和隐蔽性
研究人员已经证明,对开源机器人模型进行数据投毒攻击是实用且隐蔽的。通过在训练数据中注入少量受污染的样本,可以在像smolVLA这样的视觉语言动作模型中嵌入后门。即使在使用干净的提示时,此后门也可以根据指令禁用机器人或显著降低其在特定任务上的性能。这些发现突显了在开源机器人技术中需要更加关注数据集的来源。
-
新型AI系统通过视觉和语言自动化生物实验室任务
研究人员开发了BioProVLA-Agent,一个经济实惠的系统,用于使用视觉-语言-动作(VLA)模型自动化生物实验室任务。该系统集成了协议解析、视觉状态验证和具身执行,以处理非结构化协议和具有挑战性的视觉条件,如透明实验室器皿和反射。该系统在15个原子任务、6个复合工作流和3个双臂任务的基准上进行了性能评估,显示出更高的稳定性和精度,尤其是在视觉退化的环境中。