研究人员推出了TriGeoBench,一个旨在评估多模态大语言模型(MLLMs)的几何推理能力的新基准。该基准包含7000个来自中国数学考试的问答对,每个问答对都配有几何图形及其对应的TikZ代码。TikZ代码的包含保留了几何元素的拓扑和符号结构,比仅依赖栅格化图像的传统基准提供了更鲁棒的评估。对各种MLLMs的初步评估表明,在细粒度结构理解和图像-文本对齐方面仍然存在挑战。 AI
影响 该基准有望推动多模态AI在理解和推理几何结构方面的能力提升,这对于STEM领域的应用至关重要。
排序理由 该条目描述了一个用于评估AI模型的新基准,该基准在一篇学术论文中提出。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- large-language models
- LaTeX
- MLLMs
- multimodal Large Language Models
- RGB color model
- ScienceCast
- Standard Chinese
- TriGeoBench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →