Lanmiao Liu

SemConFlow模型通过对比学习增强协同说话手势生成

研究人员开发了SemConFlow，一种新颖的协同说话手势生成方法，旨在产生更整体、语义更强的姿态。与依赖外部语义规则的先前方法不同，SemConFlow使用对比流匹配，并将不匹配的音频-文本条件作为负例。该技术训练模型遵循正确的运动轨迹，同时排斥语义不一致的轨迹，从而学会生成标志性和隐喻性手势。该模型还通过将文本、音频和运动嵌入到复合潜在空间中来确保跨模态一致性，在BEAT2和SHOW数据集上的表现优于现有方法。