Fusion Embedding 统一文本、图像、视频和音频模态

研究人员推出 Fusion Embedding，一种能够表示文本、图像、视频和音频的统一嵌入空间的新方法。该系统利用冻结的视觉-语言主干，并训练新的连接器模块来集成音频数据，而不会改变基础模型。由此产生的 fusion-embedding-1 和 fusion-embedding-2 模型在跨模态检索方面表现出色，包括在没有明确的视听训练数据的情况下，涌现出音频-图像检索能力。该团队已发布代码、权重和评估工具，并强调了在单 GPU 上数小时内完成训练的效率。 AI

影响 实现了统一的跨模态搜索和检索，可能简化多模态 AI 应用。

排序理由 详细介绍新模型架构及其功能的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Abdul Basit Tonmoy
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Fusion Embedding
• fusion-embedding-1
• fusion-embedding-2
• Gotit.pub
• Hugging Face
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →