Human Videos
PulseAugur coverage of Human Videos — every cluster mentioning Human Videos across labs, papers, and developer communities, ranked by signal.
-
机器人通过Zero-WAM模型从人类视频中学习未见过任务
研究人员开发了Zero-WAM，一种新颖的因果视频-动作模型，旨在使机器人能够通过学习人类演示视频来执行未见过的操作任务。这种方法借鉴了大型语言模型的上下文学习，使用视频作为任务规范。为了克服数据稀缺问题，一个自动化流程生成了一个包含74.2K个人类-机器人上下文学习对的数据集。Zero-WAM在模拟中的七个未见过任务上取得了47.0%的成功率，显著优于现有的视频-动作模型，并在现实场景中展示了泛化能力。
-
新的世界-动作模型增强机器人操作和泛化能力
研究人员开发了几种新的机器人操作世界-动作模型（WAMs），旨在提高效率和鲁棒性。LiLa-WAM专注于轻量级潜在推理空间，可在单个GPU上进行端到端训练，在基准任务上取得了很高的成功率。ST-WAM通过使用具有DINOv3特征和历史检索的语义-时间建模，增强了在视觉分布变化下的鲁棒性，在真实世界场景中表现明显优于先前模型。LAWM-3D从人类视频中学习3D感知潜在动作，通过多视图不变性和几何对齐来提高世界模型性能。XEWorld引入…
-
机器人训练通过日常视频和专用网络得到改进
研究人员调查了使用日常人类视频训练机器人操作策略的有效性。他们发现，虽然准确的手部姿势可以改善迁移学习，但人类和机器人运动之间显著的“运动差距”仍然阻碍了性能。为了弥合这一差距，他们开发了一种联合训练方法，为每种具身专门化视觉和策略网络，在机器人特定数据有限的情况下，使机器人操作任务的成功率显著提高了 29.7%。
-
SUGAR框架教会仿人机器人从人类视频中学习操纵技能
研究人员开发了SUGAR，这是一个旨在使仿人机器人能够从人类视频中学习复杂运动操纵技能的框架。该系统从视频中自动提取交互先验，使用基于物理的模型将其提炼为物理上可行的技能，然后将其提炼为机器人的自主策略。SUGAR已成功地在六项不同任务中实现了对真实硬件的零样本迁移，其性能优于传统的参考跟踪方法，并且随着视频数据的增加，性能有所提高。
-
调查探讨了机器人从人类视频和世界模型中学习，同时新的网络解决了驾驶员监控问题。
两篇新的调查论文探讨了机器人学习的进展，重点关注不同的数据获取和利用策略。一篇论文全面回顾了世界模型，这些模型是机器人策略学习、规划和模拟的关键预测表示，并强调了它们随着基础模型和视频生成而演变。第二篇调查侧重于从人类视频中学习机器人操作技能，通过利用丰富的人类活动录像和计算机视觉技术来解决机器人数据扩展的挑战。