研究人员推出了一种新颖的语音到语音翻译方法X-Dubbing，它解决了与视频内容的时间和视觉同步的挑战。该系统包括一个生成时间感知脚本的Dubbing Translator和一个在语言无关的时间预算内运行、与原始视频同步合成语音的Voice Actor。该方法不需要配对的配音数据，因为其组件是在独立的语音-文本和音频-视频数据集上训练的。实验表明，X-Dubbing在等时性（isochrony）和视听对应性（audio-visual correspondence）等指标上均优于现有方法。 AI
影响 这项研究通过解决同步挑战，推动了语音到语音翻译的发展，有望提高跨语言配音的质量和效率。
排序理由 该集群包含一篇详细介绍语音到语音翻译新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
