Franka
PulseAugur coverage of Franka — every cluster mentioning Franka across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Anyscale 使用 Ray 加速 JEPA 机器人推理
Anyscale 开发了一个使用 Ray 的系统,用于加速机器人领域 JEPA 世界模型架构的实时推理。V-JEPA2-AC 模型之前在抓取和放置任务中成功率可达 65-80%,但规划时间长达 16 秒/动作。通过将推理卸载到拥有更强大 GPU(如 NVIDIA A100)的 Ray 集群,Anyscale 显著缩短了规划时间,从而实现了更快、更连续的机器人运行。
-
MetaWAM 统一机器人信号以用于世界动作模型,提升性能
研究人员开发了 MetaWAM,一种通过在统一的元帧内利用频域打包来将机器人信号集成到世界动作模型中的新方法。该方法将机器人数据与预训练视频扩散模型的潜在空间对齐,提高了性能并降低了推理延迟。MetaWAM 在 RoboCasa 基准测试中取得了 68.9% 的成功率,在真实 Franka 任务中取得了 85.0% 的成功率,证明了其在统一机器人动作和未来观察方面的有效性。
-
AI机器人协会发布基于16151小时人类操作数据训练的基础模型
AI机器人协会(AIRoA)发布了AIRoA-0,这是一个机器人基础模型,其训练数据来自通过名为YUBI的手持抓手收集的16151小时人类操作数据。该模型基于Physical Intelligence的π0.5基础构建,能够执行分拣小零件和折叠毛巾等任务,在评估中显示出比以往模型高得多的成功率。AIRoA旨在通过允许从不同地点收集数据而无需专用机器人硬件,来促进大规模机器人学习,模型权重和相关代码已在Hugging Face和GitHub上提供。
-
AIRoA-0系统从人类手持演示中学习复杂操作
研究人员开发了AIRoA-0,这是一个双臂操作系统,通过手持抓取器记录的超过16,000小时的人类演示进行训练,训练期间不使用任何机器人特定数据。该系统可以执行诸如零件分类、更换机器人真空吸尘器垫和折叠毛巾等复杂任务,在十项任务中的成功率达到78%。AIRoA-0是具身无关的,可以在配备YUBI抓取器的各种机器人上运行,并且该团队正在向公众发布数据集、预训练权重和训练配方。
-
RoboColosseum框架揭示机器人策略泛化能力较弱
引入了一个名为RoboColosseum的新框架,用于评估通用机器人策略在不同实体和环境中的物理智能。该框架揭示了跨实体的一致性较弱,并且在开放世界场景中的可靠性有限。虽然前沿AI代理在零样本评估中表现与专门的视觉-语言-动作(VLA)策略相当,但微调显示GR00T N1.7和Pi0.5等特定策略在特定机器人平台上表现出色。
-
逐际动力 FluxVLA Engine V2 简化具身智能开发
逐际动力 (LimX Dynamics) 发布了其开源工程基础 FluxVLA Engine 的第二个版本,旨在简化具身智能的开发和部署。此次更新通过集成在线强化学习、扩展模拟评估以及验证真实硬件部署来增强能力。该引擎旨在标准化开发流程,使研究人员能够复用工程基础设施,并将精力集中在推进模型能力上,而不是重复性的设置任务。
-
新方法为不断变化的策略校准 AI 世界模型不确定性
研究人员开发了一种新的方法,用于世界模型的保形不确定性校准,特别解决了部署策略发生变化而底层模型保持固定的场景。该方法使用加权保形校准来适应新策略的不确定性估计,并考虑了状态占用率和动作倾向率的变化。实验表明,覆盖率得到了显著提高,学习比率校准在强控制的状态-动作转移下实现了超过 90% 的覆盖率,优于普通保形集。该方法的理论基础已通过 Lean 4 编程语言得到正式验证。
-
新机器人策略ZAP在无真实世界训练的情况下实现96.7%的成功率
研究人员开发了一种名为Zero-real Agent Policy (ZAP) 的新机器人控制策略,该策略利用了预训练的视觉-语言模型。ZAP结合了一个27B参数的模型用于世界理解,并通过在模拟任务上的监督微调和GRPO来训练机器人运动。这种方法在没有真实世界机器人数据的情况下,在真实世界任务上取得了96.7%的成功率,其性能优于现有的MolmoAct2 VLA等模型,并在速度和成本效益方面与GPT-6 Astra相当。
-
新的D2R方法利用世界模型解决机器人策略遗忘问题
研究人员开发了一种名为Dream to Remember (D2R)的新方法,以解决通用机器人策略中的灾难性遗忘问题。D2R在利用预训练的世界模型进行旧任务演练的同时,持续引导一个固定的策略学习新任务。这种方法将引导模块锚定在其先前的行为上,而无需回放缓冲区或新数据。实验表明,即使世界模型不完全准确,D2R也能显著提高顺序任务的性能,并在模拟和真实机器人平台上都显示出有效性。
-
新的RAFC方法通过可靠的未来条件化改进机器人操作
研究人员开发了一种名为可靠性感知未来条件化(RAFC)的新方法,通过使生成的未来任务视频更有用来改进机器人操作。传统方法可能会受到时间失配的阻碍,即生成的视频与机器人当前阶段不匹配,导致成功率降低。RAFC通过将时间对齐视为一个控制问题来解决这个问题,估计生成片段的可信度,并优先选择更符合机器人当前状态的假设。这种方法显著提高了成功率,即使在强制的时间失配下以及在Franka等现实世界机器人上也是如此。
-
机器人操纵故障模式诊断与解决
研究人员识别并提出了一种解决方案,用于解决长时序机器人操纵任务中的一种故障模式,称为观察空间偏移(OSS)。当串联独立训练的技能时,会出现此问题,导致性能下降,因为下游技能并非从其预期的训练分布开始。研究发现,位移的场景状态,而非机器人配置,是导致这些故障的主要原因。为解决此问题,开发了一个系统,该系统可以检测任务停滞,使用学习策略恢复位移的场景组件,然后恢复技能,从而显著提高了 BOSS-44 和真实 Franka 机械臂等基准的成功率。
-
大型语言模型机器人越狱尝试中展现出意图-行为差距
研究人员发现,在大型语言模型(LLM)驱动的机器人中,意图中的恶意行为与其实际产生的有害行为之间存在显著差距,这被称为意图-行为差距。这种差异的出现是因为当前的越狱方法忽略了机器人特有的约束,例如可执行的控制API和物理可行性。为了解决这个问题,开发了一个名为POEF的新框架,通过考虑这些机器人特有的限制来优化越狱提示,在各种LLM和机器人平台上实现了80%的行为越狱成功率。研究结果强调,在LLM驱动的机器人广泛部署之前,迫切需要采取…
-
RoboCoach 利用世界模型改进机器人技能组合
研究人员开发了 RoboCoach,一个利用世界模型改进机器人技能组合的新框架。该系统使用 RIDI 循环(路线规划-想象-诊断-改进)在名为 COACHWORLD 的世界模型中模拟失败,识别需要额外演示或专家更新的特定子任务。这种有针对性的指导方法显著提高了机器人性能,在使用仅 150 次额外的子任务演示后,在 Franka 平台上的成功率从 13.3% 提高到 75.0%,在 AgileX 平台上的成功率从 40.0% 提高到 8…
-
新框架通过验证世界动作模型预测来增强机器人控制能力
研究人员推出了一种名为世界相干解码(WCD)的新型框架,旨在提高机器人领域中世界动作模型(WAMs)的可靠性。WCD通过将WAM的滚动预测视为可测试的假设,采样多种未来场景,并在执行前根据视觉合理性和动作稳定性进行排序。这种自验证过程利用内部生成信号来预测可靠性,从而在RoboTwin 2.0基准测试等任务上取得改进的性能。
-
新的SUN Programs框架统一了机器人操作中的控制与学习
研究人员开发了SUN Programs,一个统一了基于模型控制和学习策略以完成复杂操作任务的新框架。该系统名为Kuafu,可从语言和场景语义中自动合成这些程序,从而实现高效的策略训练。Kuafu在九项操作任务上展示了显著的成功率,优于现有方法,并实现了比人类远程操作更高的成功轨迹时间。
-
新的 GCRL 方法使用动态对象掩码进行视觉目标表示
研究人员开发了一种新颖的目标条件强化学习(GCRL)方法,该方法利用动态对象掩码作为目标表示。该方法绕过了对特权状态或位置信息的需要,而这些信息在实际机器人应用中通常不可用。通过使用基于图像的目标检测器,该系统可以为导航和操作任务生成空间目标,展示了广泛的适用性和强大的泛化能力。该方法在稳定性和样本效率方面显示出显著的改进,在机器人手臂上实现了高成功率,并在模拟中实现了更快的学习。
-
新的 MEMENTO 框架为具身 AI 任务演化代码即策略
研究人员开发了 MEMENTO,一个代表可执行代码的策略演化新框架。这种记忆引导的方法结合了进化方法和局部搜索技术,以提高策略在长时限具身任务上的性能。MEMENTO 在模拟机器人操作和家庭互动任务上展示了优于现有基线的结果,并且其有效性通过成功地从模拟到现实的迁移到物理机器人得到了进一步验证。
-
行智具身与复旦的30,000小时触觉数据让机器人获得“触感”
行智具身与复旦大学发布了一系列技术报告,介绍了N0系列模型,旨在通过整合触觉数据来增强具身智能。该项目包括一个包含超过30,000小时视觉-触觉交互数据的大型数据集,以及用于统一触觉表示的N0-Foundation模型和用于预测性触觉感知的N0-VTLA模型。这些进展旨在提高机器人的操纵能力,使它们能够通过触觉更好地理解和与物理世界互动,超越纯粹的视觉感知。
-
元力觉醒发布 DM0.5 具身智能模型,训练数据达 15 万小时
元力觉醒(Force Field Intelligence)发布了其新一代具身智能基础模型 DM0.5,该模型接受了 15 万小时数据的训练。DM0.5 旨在通过整合真实世界场景和开发者平台来解决具身智能领域的数据瓶颈问题。该模型拥有更大的参数规模、更多的数据量以及上下文抽象层和具身思维链任务等架构创新,在 Zero-Shot 泛化能力和微调效率方面取得了显著提升。
-
蚂蚁集团发布机器人开源模型LingBot-VLA 2.0 · 追踪2个来源
蚂蚁集团AI部门蚂蚁灵玎发布了LingBot-VLA 2.0,这是一个为复杂机器人任务设计的开源视觉-语言-动作(VLA)模型。新版本显著扩展了其训练数据至60,000小时,其中包含50,000小时的机器人轨迹数据和10,000小时的第一人称人类操作视频。LingBot-VLA 2.0支持来自17家制造商的20多种机器人配置,将其动作空间扩展到包括头部、腰部、末端执行器和移动基座,在物体操作和厨房清洁等任务中表现出改进的性能。