PFlowNet

感知流网络和VGR增强LLM的视觉推理能力

研究人员开发了感知流网络（PFlowNet）以提高大型视觉语言模型（LVLMs）的视觉推理能力。PFlowNet将感知与推理分离，并使用变分强化学习来指导感知行为，旨在减少语言偏见和幻觉。该方法在V* Bench和MME-RealWorld-lite等基准测试中取得了最先进的成果。另一个相关模型VGR通过将语言推断基础化到检测到的图像区域中来增强多模态推理能力，在ChartQA等基准测试中显示出显著的改进，同时使用的图像令牌更少。