SeamlessM4T-Massively Multilingual & Multimodal Machine Translation
PulseAugur coverage of SeamlessM4T-Massively Multilingual & Multimodal Machine Translation — every cluster mentioning SeamlessM4T-Massively Multilingual & Multimodal Machine Translation across labs, papers, and developer communities, ranked by signal.
-
NOPE-HYPE工作流程通过仿真增强语音转文本模型的鲁棒性
研究人员开发了NOPE-HYPE，一种新颖的结构化工作流程，旨在提高语音转文本模型在各种声学环境下的鲁棒性。该工作流程集成了可控的声学条件仿真器、基于频谱密度模板的优化降噪方法以及集中的超参数搜索。该方法已证明，对于Whisper和SeamlessM4T等模型，仿真噪声可以产生与使用真实世界噪声训练相媲美的性能。
-
新框架揭示多语言语音文本模型中的跨模态计算
研究人员开发了一个新框架，用于分析多语言语音文本模型如何处理跨模态语言对齐。该框架应用于 SeamlessM4T 和 Qwen2-Audio 等模型，识别出语言选择性神经元，并将其分为表示和控制角色。分析显示，SeamlessM4T 在生成步方面表现出显著的依赖性专业化，跨模态共享的神经元很少，而 Qwen2-Audio 则保持了更广泛的跨模态共享和稳定的对齐。研究还发现，SeamlessM4T 中的语言控制神经元在生成后期会越来越多…
-
OmniSONAR模型处理数千种语言的文本和语音
研究人员推出OmniSONAR，这是一系列新颖的句子嵌入模型，能够处理数千种语言的文本和语音。该系统通过渐进式训练实现了最先进的性能，从200种语言的基础空间开始，并通过师生蒸馏进行扩展。OmniSONAR显著减少了跨语言相似性搜索和翻译任务中的错误，并且在语音处理方面也表现出强大的能力，接近专用语音转文本模型的质量。