研究人员推出了 Math-Vision Diagrams,这是一个旨在评估大型语言模型(LLMs)根据文本提示生成数学图表能力的新基准。该基准是第一个统一数学图表文本到代码和文本到图像生成范例的基准。它包含从竞赛问题中选取的 2920 对图像-提示,并采用了一个涉及 LLMs 和学科专家策展的流程,以及一套评估指标。初步测试表明,当前 LLMs 在此任务上存在显著困难。 AI
影响 该基准将推动 LLMs 生成复杂数学可视化能力方面的改进,这对于教育和科学应用至关重要。
排序理由 该集群描述了一个用于评估 LLM 能力的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →