EchoMask

新的AI模型通过提高真实感和效率来增强同声手势生成 · 跟踪4个来源

研究人员开发了几种生成逼真同声手势的新方法。SemTalk通过分别学习基础动作和语义手势，然后自适应地融合它们，来专注于整合这两者。GestureLSM通过对身体区域之间的时空交互进行建模并使用流匹配进行高效采样，来解决质量和速度方面的挑战。GlobalDiff通过直接对全局关节旋转进行操作并纳入多级约束，来减轻长时序手势生成中的误差累积。EchoMask在掩码建模框架内利用语音查询的注意力机制，通过根据语音线索选择性地掩码帧来指导手势生成。