Jiahao Tang

新的Chart2Code基准测试揭示GPT-5在多模态任务上存在困难

一项名为Chart2Code的新基准测试已被推出，用于评估大型多模态模型（LMM）的图表理解和代码生成能力。该基准测试具有层级结构，包含三个难度递增的级别，旨在反映真实用户场景。Chart2Code包含2,023个任务，涵盖22种图表类型，并包含代码正确性和视觉保真度的指标。对包括GPT-5在内的25个最先进LMM进行的初步测试显示出显著的挑战，GPT-5在代码评估上的平均得分仅为0.57，在编辑任务的图表质量上的得分仅为0.22。