Infoseek
PulseAugur coverage of Infoseek — every cluster mentioning Infoseek across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
MMAgent-R^2 通过视觉重排和拒绝增强多模态检索 · 跟踪 2 个来源
研究人员推出 MMAgent-R$^2$，这是一个新颖的 Agentic 框架，旨在增强多模态检索增强生成 (mRAG) 系统。该框架解决了现有 mRAG 方法在知识库中处理视觉相似实体时存在的局限性，这些局限性会导致问答错误。MMAgent-R$^2$ 结合了视觉重排，通过比较查询和候选图像来精确识别目标实体，并结合主动拒绝机制，在必要时丢弃不可靠的结果或检索新候选。该系统通过具有复合奖励函数的 GRPO 训练进行优化，在 Info…
-
新的Wiki-R1框架提升了基于知识的视觉问答的多模态推理能力
研究人员推出Wiki-R1，一个旨在增强基于知识的视觉问答（KB-VQA）领域中大型语言模型多模态推理能力的新框架。该方法采用可控数据生成和课程强化学习策略，以使训练分布与模型不断变化的能力相匹配。在Encyclopedic VQA和InfoSeek基准上的实验表明，Wiki-R1取得了新的最先进成果，显著提高了两个数据集的准确性。
-
ProMSA代理推动知识库视觉问答发展
研究人员开发了ProMSA，一种用于知识库视觉问答（KB-VQA）的新型代理。与使用固定检索管道的先前方法不同，ProMSA根据工具调用预算和去重情况，自适应地选择图像搜索、文本搜索或停止。该代理使用拒绝采样SFT和一种称为TN-GSPO的序列级RL目标进行训练。在E-VQA和InfoSeek数据集上的实验表明，与现有的RAG和代理基线相比，ProMSA在检索和端到端准确性方面有所提高。
-
新的“Ground Then Rank”方法提升了知识型视觉问答能力
研究人员开发了一个名为“Ground Then Rank”（GTR）的新框架，以提高知识型视觉问答（KB-VQA）的性能。该方法将实体识别与证据排序解耦，解决了现有跨模态检索增强生成（MM-RAG）方法的局限性。通过首先提示一个跨模态大语言模型（MLLM）从候选列表中识别高置信度实体，然后使用现成的重排序器进行证据选择，GTR在Encyclopedic-VQA和InfoSeek等基准测试中取得了优异的结果，同时降低了计算复杂度。
-
新的MAD-RAG方法解决了LVLM中的注意力分散问题
研究人员在检索增强型大型视觉语言模型（LVLM）中发现了一种新的故障模式，称为注意力分散（AD）。当高度相关的检索文本全局抑制视觉注意力时，就会发生这种情况，导致模型将注意力从回答它们以前可以处理的问题所必需的图像区域移开。为了解决这个问题，提出了一种名为MAD-RAG的新方法，该方法使用双问题表述和注意力混合来分离视觉基础与上下文集成。在OK-VQA、E-VQA和InfoSeek数据集上的实验表明，MAD-RAG在标准RAG的基础上…
-
新的VQA方法增强了多模态大语言模型的解释性和知识整合能力
研究人员开发了CoExVQA，一个用于文档视觉问答（DocVQA）的新框架，通过分解推理过程来增强可解释性。该方法首先识别相关证据，然后定位答案区域，最后仅从该基础区域解码答案，从而实现透明验证。同时，另一项研究引入了CoVQD引导的RAG（CgRAG）框架，该框架将多模态大语言模型（MLLMs）与结构化推理和检索增强生成相结合，以提高复杂视觉问答任务的性能。