Contrastive Vision On-policy Distillation

新的CV-OPD方法通过纠正捷径来增强VLM的视觉推理能力

研究人员开发了一种名为对比式视觉策略内蒸馏（CV-OPD）的新方法，以提高视觉语言模型（VLM）的视觉推理能力。研究发现，现有的策略内蒸馏技术允许VLM在不真正依赖视觉证据的情况下生成正确答案，这是一种因缺乏视觉约束而产生的捷径。CV-OPD通过对比正负样本的教师分布来解决这个问题，使用一个差异感知门来关注视觉相关信息，并使用对比散度损失来纠正模型对视觉区域的利用。实验表明，CV-OPD在各种基准测试中显著增强了VLM的视觉推理能力。