研究人员开发了一个名为跨模态鲁棒性迁移 (CMRT) 的新框架,以提高端到端语音翻译 (E2E-ST) 模型的鲁棒性。目前的 E2E-ST 模型通常在干净的数据集上进行训练,并且难以处理现实世界语音中的变化,例如方言差异或非母语语音。CMRT 通过将基于文本的训练中的对抗性鲁棒性迁移到语音翻译中来解决这个问题,无需计算成本高昂的对抗性语音数据生成。实验表明,CMRT 在四个语言对上的对抗性鲁棒性提高了 3 个 BLEU 分数以上。 AI
影响 在现实世界的嘈杂条件下提高语音翻译系统的可靠性。
排序理由 该集群包含一篇详细介绍改进 AI 模型鲁棒性新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Abderrahmane Issam
- alphaXiv
- arXiv
- CatalyzeX
- Cross-Modal Robustness Transfer
- DagsHub
- E2E-ST
- End-to-End Speech Translation
- Gotit.pub
- Hugging Face
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →