Visual Highlight Tool

新的PSGAgent框架增强了MLLM的视觉感知能力，用于场景图生成

研究人员推出了一种新颖的PSGAgent框架，旨在提高多模态大语言模型（MLLM）在全景场景图生成方面的视觉感知能力。这种代理方法利用了“思考-行动-观察”循环，采用区域放大工具来详细检查小物体或边界关系，并使用视觉高亮工具进行聚焦分割。该框架采用两阶段流程进行训练，包括多模态思维链数据集和具有分层奖励的组序列策略优化方法，从而在PSG基准测试中取得了最先进的性能。