实体
SeamlessM4T-Massively Multilingual & Multimodal Machine Translation
SeamlessM4T-Massively Multilingual & Multimodal Machine Translation
PulseAugur coverage of SeamlessM4T-Massively Multilingual & Multimodal Machine Translation — every cluster mentioning SeamlessM4T-Massively Multilingual & Multimodal Machine Translation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架揭示多语言语音文本模型中的跨模态计算
研究人员开发了一个新框架，用于分析多语言语音文本模型如何处理跨模态语言对齐。该框架应用于 SeamlessM4T 和 Qwen2-Audio 等模型，识别出语言选择性神经元，并将其分为表示和控制角色。分析显示，SeamlessM4T 在生成步方面表现出显著的依赖性专业化，跨模态共享的神经元很少，而 Qwen2-Audio 则保持了更广泛的跨模态共享和稳定的对齐。研究还发现，SeamlessM4T 中的语言控制神经元在生成后期会越来越多…
-
OmniSONAR模型处理数千种语言的文本和语音
研究人员推出OmniSONAR，这是一系列新颖的句子嵌入模型，能够处理数千种语言的文本和语音。该系统通过渐进式训练实现了最先进的性能，从200种语言的基础空间开始，并通过师生蒸馏进行扩展。OmniSONAR显著减少了跨语言相似性搜索和翻译任务中的错误，并且在语音处理方面也表现出强大的能力，接近专用语音转文本模型的质量。