Perception RL

PerceptRL框架通过代理强化学习提升MLLM视觉感知能力

研究人员开发了PerceptRL，一个旨在增强多模态大语言模型（MLLM）视觉感知能力的新框架。该系统通过使用多代理管道提取图像标题中经过验证的错误，并将其转换为带有基于规则的奖励的问答对，从而解决了细粒度视觉感知方面的局限性。PerceptRL还结合了多轮检查和视觉工具来处理复杂的感知问题，并纠正空间操作以提高工具使用场景的准确性。在七个基准测试的评估中，PerceptRL的平均准确率为71.6%，显著优于基础模型和前沿的视觉-语言模型。