MME-RealWorld

新框架提升大语言模型高分辨率图像感知能力

研究人员推出了一种名为分层实体探索（HEE）的新型框架，旨在增强多模态大语言模型（MLLMs）的高分辨率图像感知能力。与需要大量训练或依赖固定图像分割的现有方法不同，HEE无需训练且模型无关。它通过首先评估区域是否有足够证据，然后使用对象检测进行细粒度细节分析，并将这些信息组织成语义层次结构，来动态指导实体探索。该方法旨在通过置信度引导的回溯实现自适应感知，从而克服当前高分辨率图像处理中常见的细节丢失问题。