Infoseek
PulseAugur coverage of Infoseek — every cluster mentioning Infoseek across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的 mR^2AG 框架在 GPT-4o 之上提升了多模态 VQA 性能
研究人员推出 mR$^2$AG，一个旨在提升多模态大语言模型 (MLLMs) 在知识型视觉问答 (VQA) 任务上性能的新框架。该新方法通过仅在必要时自适应地检索相关外部知识，并精确识别该知识中的支持证据，来解决现有方法的局限性。mR$^2$AG 框架利用两次反思操作来区分查询类型并定位有益信息，从而提高准确性并避免不必要的检索调用。它可以与现有的 MLLMs 集成，并在 INFOSEEK 和 Encyclopedic-VQA 等基准…
-
新方法增强多模态模型用于视觉问答 · 跟踪 6 个来源
研究人员开发了几种新方法来提高多模态大语言模型 (MLLMs) 在知识驱动视觉问答 (KB-VQA) 中的性能。一种名为“Look Twice”的方法是一个无需训练的框架，它利用模型的内部注意力来突出相关的视觉和文本证据，在各种基准测试和 MLLMs 上将准确率提高了多达 12.5 个百分点。另一种方法是贝叶斯数据重加权，通过在训练过程中自适应地降低潜在不相关负例的权重来增强多模态检索。此外，UniHEAR 提供了一个统一的框架，用于…
-
新的SKIP架构通过稀疏路由大幅降低多模态问答成本
研究人员推出了一种新颖的知识密集型多模态问答架构SKIP，该架构显著降低了计算成本。SKIP通过沿稀疏路径路由计算来实现这一点，选择性地处理相关的视觉内容和检索到的知识，而不是对每个查询应用统一的成本。这种方法在FLOPs和延迟方面带来了可观的节省，同时在多个基准测试中保持或超过了密集基线方法的准确性。
-
MMAgent-R^2 通过视觉重排和拒绝增强多模态检索 · 跟踪 2 个来源
研究人员推出 MMAgent-R$^2$，这是一个新颖的 Agentic 框架，旨在增强多模态检索增强生成 (mRAG) 系统。该框架解决了现有 mRAG 方法在知识库中处理视觉相似实体时存在的局限性，这些局限性会导致问答错误。MMAgent-R$^2$ 结合了视觉重排，通过比较查询和候选图像来精确识别目标实体，并结合主动拒绝机制，在必要时丢弃不可靠的结果或检索新候选。该系统通过具有复合奖励函数的 GRPO 训练进行优化，在 Info…
-
新的Wiki-R1框架提升了基于知识的视觉问答的多模态推理能力
研究人员推出Wiki-R1，一个旨在增强基于知识的视觉问答（KB-VQA）领域中大型语言模型多模态推理能力的新框架。该方法采用可控数据生成和课程强化学习策略，以使训练分布与模型不断变化的能力相匹配。在Encyclopedic VQA和InfoSeek基准上的实验表明，Wiki-R1取得了新的最先进成果，显著提高了两个数据集的准确性。
-
ProMSA代理推动知识库视觉问答发展
研究人员开发了ProMSA，一种用于知识库视觉问答（KB-VQA）的新型代理。与使用固定检索管道的先前方法不同，ProMSA根据工具调用预算和去重情况，自适应地选择图像搜索、文本搜索或停止。该代理使用拒绝采样SFT和一种称为TN-GSPO的序列级RL目标进行训练。在E-VQA和InfoSeek数据集上的实验表明，与现有的RAG和代理基线相比，ProMSA在检索和端到端准确性方面有所提高。
-
新的“Ground Then Rank”方法提升了知识型视觉问答能力
研究人员开发了一个名为“Ground Then Rank”（GTR）的新框架，以提高知识型视觉问答（KB-VQA）的性能。该方法将实体识别与证据排序解耦，解决了现有跨模态检索增强生成（MM-RAG）方法的局限性。通过首先提示一个跨模态大语言模型（MLLM）从候选列表中识别高置信度实体，然后使用现成的重排序器进行证据选择，GTR在Encyclopedic-VQA和InfoSeek等基准测试中取得了优异的结果，同时降低了计算复杂度。
-
新的MAD-RAG方法解决了LVLM中的注意力分散问题
研究人员在检索增强型大型视觉语言模型（LVLM）中发现了一种新的故障模式，称为注意力分散（AD）。当高度相关的检索文本全局抑制视觉注意力时，就会发生这种情况，导致模型将注意力从回答它们以前可以处理的问题所必需的图像区域移开。为了解决这个问题，提出了一种名为MAD-RAG的新方法，该方法使用双问题表述和注意力混合来分离视觉基础与上下文集成。在OK-VQA、E-VQA和InfoSeek数据集上的实验表明，MAD-RAG在标准RAG的基础上…
-
新的VQA方法增强了多模态大语言模型的解释性和知识整合能力
研究人员开发了CoExVQA，一个用于文档视觉问答（DocVQA）的新框架，通过分解推理过程来增强可解释性。该方法首先识别相关证据，然后定位答案区域，最后仅从该基础区域解码答案，从而实现透明验证。同时，另一项研究引入了CoVQD引导的RAG（CgRAG）框架，该框架将多模态大语言模型（MLLMs）与结构化推理和检索增强生成相结合，以提高复杂视觉问答任务的性能。