研究人员开发了一种新方法,仅使用少量(约100-500对)配对示例来对齐独立预训练的单模态编码器。该技术通过每个数据点与这些配对锚点的相似性来表示数据点,然后使用熵最优传输来匹配两个点云。此过程将生成的匹配方案提炼成轻量级编码器,从而实现归纳对应。该方法在图像-文本和分子-文本对齐任务上进行了评估,在Flickr30k、MS-COCO和ChEBI-20等数据集上表现优于现有方法。 AI
影响 这项研究通过减少对海量配对数据集的需求,有望实现更高效的多模态AI系统训练。
排序理由 该集群包含一篇学术论文,详细介绍了一种新的表示对齐方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- ChEBI-20
- DagsHub
- Flickr30K
- Gotit.pub
- Hugging Face
- Influence Flower
- Ms Coco
- optimal transport
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →