Watch Your Speech (WYS)

新的WYS框架通过文本条件化增强视频到语音合成

研究人员开发了一个名为Watch Your Speech (WYS) 的新视频到语音合成框架，以解决从无声说话人脸视频生成语音时视觉歧义的挑战。WYS将文本条件化作为显式的语言线索，通过基于注意力的嵌入融合模块将文本上下文与视频序列相结合。在LRS2和LRS3数据集上的实验表明，WYS在视听同步方面取得了最先进的结果，并保持了具有竞争力的文本准确性，生成了接近人类自然度的语音。