研究人员推出Superman,一个旨在统一人类运动感知与生成任务的新型框架。该系统弥合了从视频理解运动与生成基于骨骼的时间运动之间的差距。Superman利用视觉引导运动标记器,从视觉数据和3D骨骼创建统一的、跨模态的运动词汇。单一的MLLM架构随后处理各种任务,包括从视频进行3D姿态估计,以及基于骨骼的运动预测和插值,在Human3.6M等基准测试中取得了最先进的成果。 AI
影响 该框架通过统一感知和生成任务,有望简化人类运动分析的研究和开发。
排序理由 这是一篇描述新框架和方法论的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →