UniMotion

UniMotion框架统一运动、文本和视觉理解

研究人员推出UniMotion，一个专为人类运动、文本和视觉数据集成理解与生成而设计的新型框架。与以往处理有限模态组合并依赖离散分词的模型不同，UniMotion将运动视为主要的连续模态。它在一个共享的LLM骨干网络中采用了跨模态对齐运动VAE和双路径嵌入器，为运动和RGB数据创建了平行的连续路径。该框架还结合了双后验KL对齐和潜在重构对齐等技术，以增强运动表示并解决训练挑战，在跨模态任务上取得了最先进的性能。