Entity-F1

FigEx2框架提取和标注科学图表数据

研究人员开发了FigEx2，一个新颖的框架，旨在从科学复合图中提取和标注信息。该系统解决了图表缺乏字幕的问题，而现有流程通常会忽略这些图表。FigEx2利用视觉条件化来联合生成面板特定的边界框和描述性文本，通过实体注意力KL正则化器和面板级别的实体F1奖励来提高定位和科学准确性。该框架在其精心策划的BioSci-Fig-Cap数据集上表现强劲，在字幕生成方面优于MedICaT数据集上的现有模型，并且还展示了对不同科学领域的零样本迁移能力。