TPIPS

新的TPIPS度量捕捉细微的视觉相似性，性能优于现有模型

研究人员引入了一种名为文本提示图像感知相似性（TPIPS）的新度量，旨在捕捉视觉相似性的细微方面，这与提供单一标量值的现有度量不同。该度量基于对图像三元组的大型数据集进行训练，这些数据集带有自由形式的语义方面标注。对各种视觉语言模型的基准测试显示，与人类标注者相比存在性能差距，TPIPS旨在弥合这一差距。TPIPS度量与人类感知更接近，并支持文本引导检索和生成模型评估中的新应用。