LeVLJEPA

DuoJEPA: Cross-Modal Translation Without Embedding Alignment

研究人员开发了 DuoJEPA，一种无需直接对齐嵌入空间即可进行跨模态翻译的新颖方法。该方法使用自监督学习和 LeJEPA 目标，并添加 Transformer 层来在模态之间翻译嵌入。在胸部 X 光片和卫星图像上的实验表明，在没有明确对齐的情况下，跨模态检索和分类方面取得了有竞争力的性能，为多模态人工智能研究指明了新的方向。