Wenjie Yang

新的SOLAR框架推进了对称多模态检索

研究人员推出了一种新颖的自监督框架SOLAR，用于对称多模态检索，其中查询和上下文可互换。该框架利用来自网络的无标签图像-文本对，通过一个两阶段过程进行。第一阶段学习一个交集掩码，以对齐模态之间的共同点并保留差异；第二阶段则利用此掩码创建用于自监督学习的正面和困难负面样本。据报道，SOLAR在新的基准测试中，尽管使用的模型参数和嵌入维度都较少，但其性能仍显著优于最先进的监督方法。