StreamTalk

StreamTalk 框架以更高的准确性生成实时语音同步手势

研究人员开发了 StreamTalk，一个用于实时生成逼真语音同步手势的新框架。与之前存在长序列累积漂移问题的开环方法不同，StreamTalk 采用闭环系统，包含生成-检索-精炼循环。该方法使用关键姿态作为锚点，以限制漂移并提高轨迹精度。该框架还采用了随机姿态掩码和感知部件的 DiT 等技术，以增强运动恢复并减少不同运动流之间的干扰，在 BEAT2 数据集上取得了最先进的成果。