speech-to-speech translation

Audio-LLMs 增强语音翻译数据过滤

研究人员开发了一种新颖的方法，利用音频大型语言模型 (Audio-LLMs) 来过滤嘈杂的语音到语音翻译 (S2ST) 训练数据。该方法采用两阶段的 Rank-to-Distill 策略，其中初始排序器生成用于保留或丢弃语音对的伪标签，然后训练一个 Audio-LLM 直接从音频中做出这些决策。该模型能有效捕捉声学保真度和跨语言语义一致性，从而在 S2ST 性能上取得显著改进，在基准数据集上 ASR-BLEU 的提升高达 +1.4。