robot learning
PulseAugur coverage of robot learning — every cluster mentioning robot learning across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
IROS 2026论文显示,LLM正在与核心机器人技术融合,而非取代
对提交给IROS 2026的1933篇论文的分析表明,尽管大型语言模型(LLM)越来越多地融入机器人研究,但它们并未取代传统的机器人学科。相反,LLM正与机器人学习、感知、规划、控制和操作等既有领域交织在一起,从而形成一种更复杂、面向系统的研究方法。主要趋势包括关注提高LLM驱动机器人的效率和现实世界适用性,解决3D空间理解、长期记忆以及适应变化环境方面的挑战。研究正从单纯的模型扩展转向构建将LLM与其他机器人组件集成的鲁棒系统。
-
EgoLAP框架使用语言将人类运动意图转移到机器人学习中
研究人员开发了EgoLAP,一个视觉-语言-动作(VLA)预训练框架,旨在通过利用以自我为中心的人类数据来改进机器人学习。该框架通过关注以结构化语言动作表示的运动意图来解决具身鸿沟,这些意图可以从人类轨迹转移到机器人控制。EgoLAP通过基于场景几何、物理和物体可供性的推理来 grounding 这些语言动作。实验表明,EgoLAP在替代动作表示方面实现了2.3倍的性能提升,达到了80.1%的平均真实世界任务进展。
-
新的GPU批处理5G仿真器可大规模增强机器人学习
研究人员开发了Isaac-Net,这是一个新颖的GPU批处理5G新空口(NR)模块,旨在将网络仿真集成到大规模机器人学习环境中。该系统允许同时仿真数千个机器人环境,精确地模拟私有5G网络引入的延迟和信息年龄(AoI)。Isaac-Net旨在弥合快速GPU机器人仿真器与详细数据包级网络仿真器之间的差距,从而实现多机器人系统更真实的训练。
-
新的基准PhysicsLENS测试机器人视频中的物理准确性
研究人员开发了PhysicsLENS,这是一个新的数据集和基准,旨在评估视频生成模型(尤其是在机器人技术背景下)的物理合理性。当前的基准通常忽略摩擦或粘度等隐藏的物理属性,导致模型生成视觉上令人信服但物理上不准确的机器人视频。PhysicsLENS通过使用匹配的场景对来解决这个问题,这些场景对在保持视觉条件和任务一致的情况下改变底层物理属性,涵盖了七个物理领域。评估显示,许多看似合理的视频都忽略了所陈述的物理属性,这凸显了当前机器人应…
-
新教程论文探讨机器人学习中的受控扩散
一篇新的教程论文探讨了受控扩散和遍历控制理论在机器人学习领域的融合。该论文详细介绍了扩散学习(一种使用统计机制来学习复杂分布的方法)如何应用于机器人技术,以完成感知和决策等任务。它还解释了受控扩散如何塑造机器人轨迹以诱导遍历行为,这对于确保最优性、实现非近视数据收集以及基于空间特征指定行为具有重要意义。
-
机器人学习研究阐明潜在动作模型的影响
研究人员对机器人学习中的潜在动作模型(LAMs)进行了全面的实证研究,旨在阐明哪些设计选择对下游机器人操作性能有显著影响。该研究在一个通用框架内统一了各种LAM方法,并系统地评估了41个设计选择在不同维度上的表现,包括建模范式、学习目标和集成策略。研究结果表明,使用潜在动作对视觉-语言模型骨干进行微调,为策略学习提供了更优的初始化,这一结论得到了真实机器人操作任务的支持。
-
新的基准 H2R-Bench 揭示了人类到机器人视频生成能力的局限性
研究人员推出了 H2R-Bench,这是一个旨在评估视频生成模型将人类操作视频转换为以机器人为中心的演示的能力的新基准。该基准通过利用丰富的以自我为中心的视频,解决了机器人学习数据扩展的挑战,而这些视频由于手部和机器人末端执行器的差异而难以跨不同载体进行转换。使用 H2R-Bench 对十一个最先进的视频世界模型进行的初步评估显示,它们在人类到机器人操作迁移方面的能力存在显著局限性,许多模型在载体一致性、功能交互和任务执行方面都遇到了困难。
-
基础模型增强手部-物体交互研究
一篇新的调查论文系统地回顾了大型基础模型在手部-物体交互(HOI)任务中的应用。它将现有方法分为六个HOI任务,并提出了八个基础模型子先验的分类法,包括几何、语义和视觉先验。该论文分析了这些先验如何整合到HOI流程中,并讨论了它们在机器人学习中的应用,如技能迁移和数据生成。此外,它还概述了数据集、评估协议和未来的研究方向,并得到了一个持续更新的知识库的支持。
-
Reddit用户寻求对JEPA模型的批判性视角
一位Reddit用户正在寻求对Yann LeCun的联合嵌入预测架构(JEPA)模型,特别是在机器人学习方面的批判性视角。在承认JEPA前景的同时,该用户注意到LeCun的强烈倡导以及对LLM和RL等其他方法的否定,因此希望找到与替代世界模型相比的潜在缺点和危险信号。
-
EgoWAM框架利用自我中心人类数据增强机器人学习
研究人员开发了EgoWAM,一个用于机器人学习的框架,该框架利用自我中心人类数据来改进操作任务。这种方法通过预测动作以及场景如何演变来共同训练策略,其性能优于传统的行为克隆。研究发现,与基于像素的预测相比,使用DINO或3D运动流进行世界预测可显著增强泛化能力和领域内性能。
-
新研究推进机器人和LLM的策略优化
研究人员引入了几种新方法来增强强化学习中的策略优化,特别是针对涉及机器人和大型语言模型(LLM)的复杂任务。MODIP旨在通过使用世界模型来指导适应,从而高效地微调机器人学习中的扩散策略,与标准的模仿学习相比,提高了稳定性和性能。N-GRPO和T2-GRPO分别侧重于通过采用新颖的嵌入层混合和多视域奖励策略来改进LLM在数学推理和护理代理等任务中的探索和奖励分配。此外,CATPO和GenPO++通过改进基于树的方法和生成策略来提高训练…
-
COBALT平台使用智能手机进行众包机器人学习数据
研究人员开发了COBALT,一个基于云的远程操作平台,使用智能手机收集大规模机器人学习数据。该系统允许多个用户同时为机器人训练做出贡献,显著降低了成本,并实现了几乎任何地方的数据收集。一项用户研究证实,基于智能手机的操作与专用硬件一样有效,在短短五天内就收集了来自九个国家的7500多个演示。
-
SynapX推出SYNData,用于具身AI机器人学习
SynapX推出了SYNData,一个专为收集具身AI开发关键多模态数据而设计的新系统。该系统采集本体视觉、肌电信号和外骨骼手套的数据,促进了大规模人类操作数据的获取。收集到的数据旨在推动机器人学习。
-
调查探讨了机器人从人类视频和世界模型中学习,同时新的网络解决了驾驶员监控问题。
两篇新的调查论文探讨了机器人学习的进展,重点关注不同的数据获取和利用策略。一篇论文全面回顾了世界模型,这些模型是机器人策略学习、规划和模拟的关键预测表示,并强调了它们随着基础模型和视频生成而演变。第二篇调查侧重于从人类视频中学习机器人操作技能,通过利用丰富的人类活动录像和计算机视觉技术来解决机器人数据扩展的挑战。