Contrastive Language--Image Pretraining
PulseAugur coverage of Contrastive Language--Image Pretraining — every cluster mentioning Contrastive Language--Image Pretraining across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究审计OpenAI CLIP在博物馆艺术数据中的偏见
一项新近发表在arXiv上的研究，通过使用大都会艺术博物馆的艺术品元数据审计OpenAI CLIP模型，来调查视觉语言模型（VLMs）中的算法偏见。该研究开发了一个量化框架，用于评估零样本CLIP对数差分分数，并控制了艺术品媒介、创作时代和长宽比等因素。研究结果表明，艺术家性别对模型分数没有统计学上显著的条件效应，这表明广泛的零样本提示差分是一种粗略的测量方法，并不能明确证明模型的公平性。
-
TextSLIP框架通过改进的文本监督增强医学报告生成
研究人员开发了TextSLIP，一个旨在通过增强视觉编码器的监督来改进医学报告生成的新框架。该方法通过引入模态内文本对比学习来增强标准的对比语言-图像预训练（CLIP）。通过使用自监督增强文本对，TextSLIP旨在创建更具辨别力的文本嵌入，从而为视觉编码器提供更细粒度的语言指导。在脑部MRI图像-文本对上的初步测试表明，与现有的CLIP风格方法相比，报告生成指标得到了一致的改进，并且消融研究证实了文本端自监督的益处。
-
新方法增强CLIP的细粒度表示能力 · 跟踪4个来源
两篇新的研究论文提出了改进对比语言-图像预训练（CLIP）模型细粒度表示能力的方法。第一篇论文介绍了SFF-CLIP，它使用自标注区域对齐方案来增强细粒度特征，而无需额外的区域标注，从而保留了CLIP的全局表示能力。第二篇论文AspectCLIP通过重新制定一致性正则化来解决图像和文本之间的信息不对称问题，以尊重图像-标题对的一对多结构，从而获得更具结构化的表示空间。