University of Sassari

新的TransDubber系统在翻译中保留语音时序

研究人员开发了TransDubber，一种新颖的端到端自回归语音到语音翻译系统，专注于保留原始语音的时间结构。这种新方法旨在不仅匹配内容和声音，还匹配语音和停顿的确切时序，这对于配音等应用至关重要。TransDubber通过直接从对齐的目标波形学习并采用结合了渐进式监督学习和强化学习的训练策略来实现这一点，与现有方法相比，在保持翻译质量的同时，显著提高了时长匹配和停顿对齐效果。