Peijie Dong

新的VCG-Bench基准评估视觉语言模型在结构化图表任务上的表现

研究人员推出了VCG-Bench，这是一个旨在评估视觉语言模型（VLMs）在结构化图表生成和编辑任务上的新基准。该基准采用“图表即代码”方法，使用mxGraph XML来实现创建和修改图表的精确符号逻辑，超越了传统的基于像素的合成。VCG-Bench包含一个跨越六个领域的1,449个图表的数据集，以及一个具有执行成功率和风格一致性分数等指标的定制评估协议，突显了当前VLMs在结构保真度和推理方面的局限性。