CS-CLIP

CS-CLIP 增强视觉语言模型以进行组合推理

研究人员开发了 CS-CLIP，一种用于增强视觉语言模型 (VLM) 组合推理能力的新方法。现有的 VLM 经常表现出对特定元素的偏见，导致在复杂的组合任务上表现不佳。CS-CLIP 通过利用场景图来识别和掩盖组合元素，创建结构化的负样本，迫使模型专注于关系理解而非表面线索来解决这个问题。该方法在组合推理方面取得了最先进的成果，同时保持了通用的视觉语言能力，并且所需的训练样本更少。