研究人员开发了一种新颖的多模态基于图的检索增强生成（RAG）方法，以增强对长篇、视觉丰富的文档的理解。该方法解决了当前多模态大语言模型（MLLMs）和多模态RAG（MMRAG）系统在整体理解方面因上下文窗口受限而面临的局限性。通过整合总结全局文档信息的知识图谱（KGs），新方法旨在提高视觉问答（VQA）能力。研究人员还引入了一个新的基准DLVQA，以促进文档级VQA性能的评估，并证明他们的方法优于现有的MMRAG和基于KG的技术。 AI
影响 这项研究可能带来更有效的AI系统，用于分析复杂、视觉丰富的文档，从而提高信息提取和理解能力。
排序理由 该集群描述了一篇详细介绍多模态文档理解新方法和新基准的研究论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Multimodal large language models (MLLMs) are widely applied to visual document understanding. However, comprehending long documents remains an issue by the limited context window. Though recent multimodal retrieval-augmented generation (MMRAG) can address this challenge by retrie…
arXiv:2606.28780v1 Announce Type: cross Abstract: Multimodal large language models (MLLMs) are widely applied to visual document understanding. However, comprehending long documents remains an issue by the limited context window. Though recent multimodal retrieval-augmented gener…