Jose Manuel Gomez-Perez

新数据集SciGram提升AI对科学图表的理解能力

研究人员开发了一个新的框架，用于生成大规模科学图表理解的指令数据。该方法从科学课程中提取概念，综合事实，并检索相关图表，以创建包括字幕和多项选择题在内的多模态监督。由此产生的数据集SciGram包含超过194,000张图表和140万个跨学科的视觉指令。在SciGram上训练的模型在TQA、ScienceQA和AI2D等以图表为中心的基准测试中表现出显著的改进，甚至在训练实例较少的情况下也优于最先进的视觉语言模型。