VACSR

新方法提升视觉语言模型跨模态相似性理解能力

研究人员开发了一种名为“用于跨模态相似性表示的变分适配器”（VACSR）的新方法，以改进视觉语言模型对图像和文本之间关系的理解。当前模型面临挑战，因为许多数据集仅提供二元（匹配/不匹配）标签，这可能导致错误和泛化能力差。VACSR将跨模态相似性视为一个变分推断问题来解决此问题，创建一个相似性的潜在空间，并使用正则化来克服二元标注的局限性。实验表明，该方法在图文检索和泛化任务中提升了性能。