EmphAssess

新指标评估英语到中文S2ST中的词重音

研究人员开发了一种新的方法来评估和保留英语到中文语音到语音翻译（S2ST）中的词重音。他们创建了一个带重音标注的中文数据集和一个使用XLS-R的普通话重音检测器，并将其与英文EmphAssess系统集成，提出了一个新的跨语言重音评估客观指标。经过微调的CosyVoice3系统在保持翻译质量的同时，展示了改进的重音翻译能力，并且新的评估指标与人类判断显示出很强的相关性。