研究人员开发了一种新方法来评估多模态大语言模型（LLMs），通过将其视觉感知能力与其计数能力分离开来。通过向模型展示图表并询问关于其中简单和复杂计数的有关问题，该研究旨在 pinpoint 模型出现故障的地方。对 Gemini、Gemma 和 Qwen3-VL 等模型的测试表明，虽然这些模型通常能准确读取小型图表，但它们在复杂的计数任务上存在困难，随着答案大小的增加而非复杂性类别的增加，性能会下降。当提供代码和转录时，一些模型表现出更高的计数准确性，这表明阅读理解可能成为瓶颈。 AI
影响 这项研究引入了一种新颖的方法，以更好地理解和提高多模态大语言模型在处理视觉信息和执行复杂推理任务方面的能力。
排序理由 研究论文发布在 arXiv 上，详细介绍了一种评估多模态大语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
