Conformal Groundability Gate

新的SAVER框架选择性地使用视觉证据进行多模态提取

研究人员开发了SAVER，一个旨在改进从社交媒体帖子中提取多模态信息的新框架。该系统选择性地利用附加图像中的视觉证据，而不是默认处理所有图像，以提高准确性和效率。SAVER采用了一个Conformal Groundability Gate来确定视觉数据的相关性，并使用一个子模态选择器来选择最相关的图像子集进行分析。实验表明，SAVER通过提高F1分数同时降低计算成本和延迟，优于仅文本和始终开启的多模态方法。