新的 MMAgent-R^2 框架通过重排和拒绝增强视觉问答能力

研究人员推出 MMAgent-R$^2$，这是一个新颖的 Agentic 框架，旨在改进基于知识的多模态检索增强生成（mRAG）在视觉问答（KB-VQA）方面的能力。这种新方法通过引入视觉重排和主动拒绝机制，解决了在大型知识库中区分视觉上相似实体所面临的挑战。视觉重排直接比较查询图像和候选图像，而主动拒绝则允许系统在必要时丢弃不可靠的结果并检索新的候选。在 InfoSeek 和 MMhops 等数据集上的实验表明，MMAgent-R$^2$ 取得了最先进的性能，尤其是在复杂的多图像推理任务中。 AI

影响 增强了多模态 AI 中的 Agentic 能力，有望提高复杂视觉推理任务的性能。

排序理由 提交了一篇研究论文，详细介绍了一种用于多模态检索增强生成的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• E-VQA
• GRPO
• InfoSeek
• KB-VQA
• MMAgent-R^2
• MMhops
• multi-modal retrieval augmented generation

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →