PulseAugur
中
实时 10:50:41
English(EN) FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

OmniSONAR模型处理数千种语言的文本和语音

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出OmniSONAR，这是一系列新颖的句子嵌入模型，能够处理数千种语言的文本和语音。该系统通过渐进式训练实现了最先进的性能，从200种语言的基础空间开始，并通过师生蒸馏进行扩展。OmniSONAR显著减少了跨语言相似性搜索和翻译任务中的错误，并且在语音处理方面也表现出强大的能力，接近专用语音转文本模型的质量。 AI

影响 多模态多语言嵌入的这些进步可以显著提高AI系统的全球可访问性和功能性。

排序理由 该集群包含两篇arXiv论文，详细介绍了多模态多语言句子嵌入的新研究。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

OmniSONAR模型处理数千种语言的文本和语音

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Omnilingual SONAR Team, Jo\~ao Maria Janeiro, Pere-Llu\'is Huguet Cabot, Ioannis Tsiamas, Yen Meng, Vivek Iyer, Guillem Ram\'irez, Loic Barrault, Belen Alastruey, Xiang "Tony" Cao, Yu-An Chung, Marta R. Costa-Jussa, David Dale, Kevin Heffernan, Jaehyeong… ·

    Omnilingual SONAR：跨语言、跨模态句子嵌入，连接海量多语言文本与语音

    arXiv:2603.16606v3 Announce Type: replace Abstract: Cross-lingual sentence encoders typically cover only a few hundred languages and often trade downstream quality for stronger alignment, limiting their adoption. We introduce OmniSONAR, a new family of omnilingual, cross-lingual …

  2. arXiv cs.CL TIER_1 English(EN) · Santosh Kesiraju, Bolaji Yusuf, \v{S}imon Sedl\'a\v{c}ek, Old\v{r}ich Plchot, Petr Schwarz ·

    FLiP：迈向理解和解释多模态多语言句子嵌入

    arXiv:2604.18109v2 Announce Type: replace Abstract: This paper presents factorized linear projection (FLiP) models for understanding pretrained sentence embedding spaces. We train FLiP models to recover the lexical content from multilingual (LaBSE), multimodal (SONAR) and API-bas…

相关实体

相关话题