ZoomBench

新的强化学习方法用更少的 token 提升多模态大语言模型的视觉感知能力

研究人员开发了一种新颖的强化学习方法 Vision-RL2，用于增强多模态大语言模型（MLLMs）的细粒度视觉感知能力。该方法通过将连贯的图像区域视为动作，并根据其对多模态大语言模型答案可能性的影响进行评分，来优化区域提议网络。Vision-RL2 在各种基准测试和多模态大语言模型骨干网络上显著提高了准确性，同时大幅减少了所需的视觉 token 数量，从而降低了计算成本。