Google DeepMind 开发了一个端到端的语音到语音翻译(S2ST)模型,该模型能够实时翻译口语,同时保留原始说话者的声音和情感,延迟仅为两秒。这种新架构摒弃了传统的级联系统(这些系统存在显著延迟和错误累积问题),采用了流式框架和可扩展的数据采集流水线。另外,研究人员还推出了 STEB,这是一个新的基准测试,旨在评估 S2ST 系统不仅在翻译准确性方面,还在保留情感、场景风格和非语言发声等表达属性方面的能力,并指出当前系统在这些细微之处仍有不足。 AI
影响 这种在实时、语音保留式 S2ST 方面的进步可以显著增强跨语言交流,使互动更加自然和个性化。
排序理由 Google DeepMind,一个前沿实验室,宣布了一个具有新颖架构和性能指标的新 S2ST 模型。 [lever_c_demoted from frontier_release: ic=2 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →