Text-Visual Fusion Module

SyncVoice框架通过视觉增强的TTS提升视频配音效果

研究人员开发了SyncVoice，一个新颖的自动视频配音框架，可增强语音的自然度和与视觉内容的暂时同步性。通过将文本-视觉融合模块集成到预训练的文本到语音系统中，SyncVoice将视觉特征与语言表示相结合，实现同步语音合成。在LRS3数据集上的实验证明了其在零样本配音方面的最先进性能，并且在双语数据集上的进一步训练使单个模型能够同时进行中文和英文配音。