GraphVerse

新基准和方法推动AI多模态推理发展

研究人员正在开发用于多模态知识图谱补全和推理的新方法，将视觉语言模型（VLM）与图结构相结合。ViSR-KGC提出了一种视觉子图推理方法，结合了表示学习和VLM分析来推断缺失的实体。Q-CueGraph专注于查询条件下的视觉证据图谱，以指导VLM在多模态推理任务中检查图像。此外，还开发了一个从讲座视频构建证据支撑的多模态知识图谱的流程，并引入了一个名为GraphVerse的综合基准来评估多模态大语言模型在视觉图谱推理方面的能力。