研究人员推出 RankAlign,一种无需跨模态监督即可对齐视觉和语言表示的新颖方法。该方法在匹配之前将模态内相似性核转换为序数关系表示,使其对相似性值的重参数化具有不变性,同时保留了匹配所必需的序数结构。实验表明,RankAlign 在各种编码器和数据集上都能改善并稳定类别级别的对应关系恢复,即使在标签损坏和域偏移的情况下也是如此。 AI
影响 改进了视觉和语言模型的无监督对齐,有望增强跨模态理解和应用。
排序理由 该集群包含一篇研究论文,详细介绍了一种新的视觉-语言表示对齐方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Platonic Representation Hypothesis
- RankAlign
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →