PulseAugur
中
实时 10:08:24

新框架通过手部控制生成第一人称视角视频

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了HandsOnWorld，一个用于生成由手部运动控制的第一人称视角视频的新颖框架。该系统通过从无约束的单目视频中学习，克服了现有方法对广泛的多视图或基于标记的运动捕捉的需求限制。为了解决大型第一人称视角数据集中3D手部标注稀缺的问题，该团队创建了EgoVid-Pro，一个从野外第一人称视角视频派生的干净手部轨迹数据集。他们还引入了Plücker Hand Map来解耦相机和手部运动，提高了重建保真度和控制精度。 AI

影响 该框架可以为虚拟现实和模拟等应用提供更真实、更可控的AI生成的第一人称视角视频内容。

排序理由 该集群描述了一篇详细介绍新颖框架和视频生成数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新框架通过手部控制生成第一人称视角视频

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Yushuo Chen, Xiaoyu Shi, Xiaoshi Wu, Xintao Wang, Pengfei Wan, Yebin Liu ·

    HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control

    arXiv:2607.02075v1 Announce Type: new Abstract: We present HandsOnWorld, a framework for hand-controlled egocentric video generation that forgoes multi-view and marker-based motion capture, learning instead from unconstrained monocular video. Such generality is bottlenecked by th…

  2. arXiv cs.CV TIER_1 English(EN) · Yebin Liu ·

    HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control

    We present HandsOnWorld, a framework for hand-controlled egocentric video generation that forgoes multi-view and marker-based motion capture, learning instead from unconstrained monocular video. Such generality is bottlenecked by the scarcity of scalable 3D hand annotations: larg…

相关话题