PulseAugur
中
实时 12:44:56
English(EN) H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

新的基准 H2R-Bench 揭示了人类到机器人视频生成能力的局限性

作者 PulseAugur 编辑部 · [4 个来源] ·

研究人员推出了 H2R-Bench，这是一个旨在评估视频生成模型将人类操作视频转换为以机器人为中心的演示的能力的新基准。该基准通过利用丰富的以自我为中心的视频，解决了机器人学习数据扩展的挑战，而这些视频由于手部和机器人末端执行器的差异而难以跨不同载体进行转换。使用 H2R-Bench 对十一个最先进的视频世界模型进行的初步评估显示，它们在人类到机器人操作迁移方面的能力存在显著局限性，许多模型在载体一致性、功能交互和任务执行方面都遇到了困难。 AI

影响 像 H2R-Bench 这样的新基准对于推进机器人领域视频世界模型的能力至关重要，有可能加速更复杂的机器人学习系统的开发。

排序理由 该集群包含两篇研究论文，介绍了一个新的基准和一个用于机器人操作视频生成的新模型。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →

新的基准 H2R-Bench 揭示了人类到机器人视频生成能力的局限性

报道来源 [4]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    H2R-Bench：世界模型中人类到机器人操作视频生成的基准测试

    H2R-Bench evaluates video generation models on transforming human manipulation videos into robot-centric demonstrations across embodiment constraints and interaction fidelity.

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    DreamX-Phi 1.0：用于机器人操作的动作条件视频世界模型

    DreamX-Phi 1.0 is an action-conditioned video world model for robotic manipulation that uses geometric attention encoding, depth estimation, object masks with a frozen teacher, and distillation to generate faithful future observations.

  3. arXiv cs.CV TIER_1 English(EN) · DreamX Team, Rui Chen, Xiangxiang Chu, Geng Li, Jifan Li, Qingfeng Shi, Datao Tang, Jing Tang, Jun Wang, Pengfei Zhang ·

    DreamX-Phi 1.0：用于机器人操作的动作条件视频世界模型

    arXiv:2608.13489v1 Announce Type: new Abstract: We present \textbf{DreamX-Phi 1.0}, an action-conditioned video world model for robotic manipulation that, given an observed frame, a language instruction, and a prescribed action sequence comprising end-effector poses and gripper s…

  4. arXiv cs.CV TIER_1 English(EN) · Dingyi Rong, Yue Shi, Chaofan Ma, Jiezhang Cao, Zongrui Wang, Zeyu Zhang, Yao Mu, Guangtao Zhai, Ning Liu ·

    H2R-Bench：在世界模型中对人类到机器人操作视频生成进行基准测试

    arXiv:2608.13049v1 Announce Type: cross Abstract: Large-scale manipulation data is essential for robot learning, yet collecting robot demonstrations remains expensive and difficult to scale. Meanwhile, abundant egocentric human manipulation videos provide rich behavioral experien…

相关实体

相关话题