TVPS-4

新的 Percept-V 数据集揭示 MLLM 在基本视觉感知方面存在困难

一篇新的研究论文介绍了 Percept-V，这是一个旨在测试多模态大语言模型（MLLM）基本视觉感知能力的数据集。尽管任务很简单，只需要很少的推理，但目前最先进的专有和开源 MLLM 与人类相比表现较弱。研究发现，随着图像中物体数量的增加，模型的性能会显著下降，并确定了对这些模型特别具有挑战性的特定感知技能。虽然对开源 MLLM 进行微调显示出性能提升，但这些改进并未很好地泛化到相关数据集，表明所学表示形式存在局限性。