Chenyang Zhao

Grad-ECLIP 为 CLIP 提供基于梯度的视觉和文本解释

研究人员开发了 Grad-ECLIP，一种用于解释 CLIP 视觉语言模型的新方法。该技术生成视觉热图和文本解释，以显示特定图像区域和单词如何影响 CLIP 的匹配结果。Grad-ECLIP 通过在 token 特征上使用通道和空间权重，与先前的方法不同，从而产生更优越的解释。该方法还深入了解 CLIP 的图像-文本匹配机制，并可用于改进 CLIP 微调过程中的细粒度对齐。