Discrete-Continuous VAE

新DC-Motion框架通过文本生成逼真人体运动

研究人员开发了DC-Motion，一个用于从文本生成人体运动的新颖框架。该方法使用离散和连续令牌的组合，将语义含义与细粒度的物理细节分离开来。首先，一个离散-连续VAE将运动分解为离散的语义令牌和连续的动态残差。随后，一个掩码自回归模型解释文本以预测离散结构，而一个扩散模型则重建连续的物理细节。实验表明，DC-Motion在遵循复杂指令方面表现出色，并在HumanML3D和KIT-ML等数据集上实现了运动逼真度和文本对齐的最新性能。