Visual Question Decomposition

新的VQA方法增强了多模态大语言模型的解释性和知识整合能力

研究人员开发了CoExVQA，一个用于文档视觉问答（DocVQA）的新框架，通过分解推理过程来增强可解释性。该方法首先识别相关证据，然后定位答案区域，最后仅从该基础区域解码答案，从而实现透明验证。同时，另一项研究引入了CoVQD引导的RAG（CgRAG）框架，该框架将多模态大语言模型（MLLMs）与结构化推理和检索增强生成相结合，以提高复杂视觉问答任务的性能。