研究人员开发了一种名为组合注意力正则化训练(CompART)的新训练方法,以改进视觉语言模型(VLMs)处理复杂、多目标引用的能力。目前的VLMs在短语涉及多个目标时的基础性能方面存在困难,这主要是由于训练目标侧重于图像-标题对齐。CompART通过将标题分解为以目标为中心的短语并构建复合短语来解决这个问题,鼓励模型的注意力在这些组件之间取得平衡,以实现更好的定位。 AI
影响 引入了一种新颖的训练技术,以增强VLM在复杂视觉引用中理解和定位多个目标的能力。
排序理由 这是一篇详细介绍现有模型新训练方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →