Geometry-Preserving Encoders

新研究强调多模态对比学习中的几何保持

研究人员发现，编码器雅可比矩阵的条件化对于有效的三模态对比学习至关重要，该方法超越了简单的图像-文本对，可对三种或更多模态进行对齐。条件化不良的编码器可能因雅可比矩阵条件数爆炸而导致对齐效果下降。该研究引入了几何保持编码器（GPEs），通过正则化直接对雅可比矩阵进行条件化，并利用LeakyReLU激活和残差路径等修改来改善几何特性。这些改进提高了在各种数据集上的检索和线性探测性能，表明多模态对比学习依赖于客观表达能力和编码器的几何特性。