Tom Labiausse

Hibiki-Zero语音翻译模型消除了对齐数据的需求

研究人员开发了Hibiki-Zero，一种新颖的语音到语音翻译系统，无需词级对齐数据。这种方法简化了训练，并允许更容易地适应各种语言。该系统首先在句子级对齐数据上进行训练，以实现高延迟翻译，然后使用带有GRPO的强化学习策略来优化低延迟，同时保持翻译质量。Hibiki-Zero在五个语言对上展示了最先进的性能，并且可以用最少的数据适应新语言。