StyleTTS 2

新框架可根据面部图像生成语音

研究人员开发了一个新颖的面部到语音（F2S）框架，能够从静态面部图像生成逼真的声音，克服了文本到语音（TTS）系统需要参考音频的限制。该系统利用一个轻量级的面部适配器，将面部识别特征与冻结的StyleTTS 2模型的风格空间对齐。在LRS3数据集上的评估表明，合成语音高度自然，声音生成一致，并且面部到语音检索的准确率高于随机水平。值得注意的是，一个英语训练的适配器也能生成流利的西班牙语语音，这表明面部到风格的映射在很大程度上是与语言无关的。