HoloCount

HoloCount基准揭示MLLM在视觉计数方面的局限性

研究人员推出了HoloCount，这是一个旨在评估多模态大语言模型（MLLM）视觉计数能力的新基准。该基准通过关注复杂推理和鲁棒性，超越了基本的感知任务，解决了现有工具的局限性。HoloCount将计数挑战分为语义、分析和鲁棒性测试，揭示了当前顶级MLLM在性能上的显著差距，尤其是在任务变得更具分析性以及面临不利条件时。这些发现旨在指导更可靠的多模态系统的开发。