MathVision

新基准揭示大型语言模型在数学图表生成方面存在困难

研究人员推出了 Math-Vision Diagrams，这是一个旨在评估大型语言模型（LLMs）根据文本提示生成数学图表能力的新基准。该基准是第一个统一数学图表文本到代码和文本到图像生成范例的基准。它包含从竞赛问题中选取的 2920 对图像-提示，并采用了一个涉及 LLMs 和学科专家策展的流程，以及一套评估指标。初步测试表明，当前 LLMs 在此任务上存在显著困难。