新框架可根据面部图像生成语音

研究人员开发了一个新颖的面部到语音（F2S）框架，能够从静态面部图像生成逼真的声音，克服了文本到语音（TTS）系统需要参考音频的限制。该系统利用一个轻量级的面部适配器，将面部识别特征与冻结的StyleTTS 2模型的风格空间对齐。在LRS3数据集上的评估表明，合成语音高度自然，声音生成一致，并且面部到语音检索的准确率高于随机水平。值得注意的是，一个英语训练的适配器也能生成流利的西班牙语语音，这表明面部到风格的映射在很大程度上是与语言无关的。 AI

影响 这项研究通过允许从视觉数据生成语音，可能为历史重建、虚拟化身和辅助工具带来新的应用。

排序理由 该集群包含一篇详细介绍新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Face Adapter
• Hugging Face
• Jose A. Gonzalez-Lopez
• LRS3
• StyleTTS 2
• TED talk
• Zero-Shot Face-to-Speech Synthesis

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →