ReFree-S2V

新AI框架生成逼真同步语音视频动画

研究人员开发了ReFree-S2V，一个用于生成逼真同步语音视频动画的新框架。该模型使用多级语音表示来捕捉语音信息和韵律信息，从而实现精确的唇部同步和自然的面部表情。此外，它还采用了一种新颖的无奖励强化学习方法，无需昂贵的人工标注或手工设计的指标即可改进头部运动。实验表明，ReFree-S2V在唇部同步准确性的定量评估和自然度的定性评估方面均优于现有方法。