MMRAG

新的多模态RAG方法增强长文档理解能力

研究人员开发了一种新颖的多模态基于图的检索增强生成（RAG）方法，以增强对长篇、视觉丰富的文档的理解。该方法解决了当前多模态大语言模型（MLLMs）和多模态RAG（MMRAG）系统在整体理解方面因上下文窗口受限而面临的局限性。通过整合总结全局文档信息的知识图谱（KGs），新方法旨在提高视觉问答（VQA）能力。研究人员还引入了一个新的基准DLVQA，以促进文档级VQA性能的评估，并证明他们的方法优于现有的MMRAG和基于KG的技术。