Xinshun Wang

Superman框架统一人类运动感知与生成

研究人员推出Superman，一个旨在统一人类运动感知与生成任务的新型框架。该系统弥合了从视频理解运动与生成基于骨骼的时间运动之间的差距。Superman利用视觉引导运动标记器，从视觉数据和3D骨骼创建统一的、跨模态的运动词汇。单一的MLLM架构随后处理各种任务，包括从视频进行3D姿态估计，以及基于骨骼的运动预测和插值，在Human3.6M等基准测试中取得了最先进的成果。