Hadamard-CLIP

新研究探讨多模态对比学习的表达能力极限

研究人员分析了多模态对比学习架构的表达能力，这是许多人工智能系统（如文本到图像生成器和视觉语言模型）的基础。他们发现，虽然标准的双塔CLIP架构可以近似两种模态的任何联合分布，但用于三种或更多模态的常见泛化在表示能力上存在理论上的局限性。为了解决这个问题，该论文介绍了Hadamard-CLIP，一种能够恢复任意数量模态的通用近似能力并保持高效检索的改进方法。