TongueReenact

新框架实现了逼真的舌头合成，用于面部重演

研究人员开发了TongueReenact，一个用于在面部重演中转移舌头动力学的新颖框架，解决了当前系统常常忽略舌头运动的不足。该系统利用了一个基础模型辅助的流水线，无需精心标注即可创建专门的舌头分割模型。它还包含一个空间约束的潜在掩码扩散模型，用于逼真的舌头合成，具有自适应掩码扩张功能，可在嘴部边界实现平滑过渡。实验表明，与现有方法相比有显著改进，基于视觉语言模型的评估协议证实了其感知上的优越性。