TouchéWorld

TouchéWorld 将手势控制集成到生成式世界模型中

研究人员开发了 TouchéWorld，一个将手势驱动的交互集成到相机控制的视频世界模型中的新框架。该系统允许用户使用连续的手部动作探索生成的环境，从而实现与物体和人物的精细交互。该框架利用空间手部骨骼条件和数值手部运动特征的组合，根据用户提示以及时间对齐的相机和手部控制来生成视频。还引入了一个新的基准 TouchéBench，用于评估系统在手部运动跟踪和在线交互等方面的性能。