Xueyao Wan

新框架整合视觉、语言与图谱，赋能AI

两篇新研究论文介绍的框架，旨在将多模态数据整合到图学习和检索系统中。第一篇OMG-VLM利用视觉-语言模型从具有异构文本和图像属性的图中学习，性能优于现有的图神经网络和基于LLM的方法。第二篇MMGraphRAG通过链接文本和视觉信息构建可解释的多模态知识图谱，旨在减少LLM的幻觉并在复杂的多模态场景中提高推理能力。两篇论文都强调了整合不同数据模态对于高级AI应用日益增长的重要性。