Xueyao Wan

新的MMGraphRAG框架统一了文本和视觉知识以用于LLM

研究人员推出MMGraphRAG，一个新颖的框架，旨在通过将文本和视觉知识整合到可解释的多模态知识图谱（MMKGs）中来增强大型语言模型（LLMs）。该方法通过将视觉内容表示为结构化场景图谱，并通过一种名为SpecLink的新型跨模态实体链接方法将其与文本知识图谱链接起来，从而解决了以文本为中心的方法的局限性。该框架旨在改善结构感知检索和生成，尤其是在复杂的模态推理任务中。