一个新的名为MathVis的基准已被开发出来,用于评估大型语言模型在生成数学图形和利用它们进行推理方面的能力。该基准包含512个任务,每个任务都有一个数学陈述、参考图、生成代码和中间表示。评估显示,像GPT-6-Astra、Claude Fable 5和Gemini 3.1 Pro Preview这样的模型主要生成形式语言和图形代码,而不是显式的视觉推理,并且它们的输出常常让人们在视觉上感到困惑。 AI
影响 该基准可以推动AI在理解和生成视觉数学推理能力方面的进步,可能影响需要复杂数据可视化和解决问题的领域。
排序理由 该集群描述了一篇介绍AI模型评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →