Compart

CompART训练改进VLM多目标基础和视觉理解

研究人员开发了一种名为组合注意力正则化训练（CompART）的新训练方法，以改进视觉语言模型（VLMs）处理复杂、多目标引用的能力。目前的VLMs在短语涉及多个目标时的基础性能方面存在困难，这主要是由于训练目标侧重于图像-标题对齐。CompART通过将标题分解为以目标为中心的短语并构建复合短语来解决这个问题，鼓励模型的注意力在这些组件之间取得平衡，以实现更好的定位。