MultimodalQA
PulseAugur coverage of MultimodalQA — every cluster mentioning MultimodalQA across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
ColGraphRAG通过晚期交互图像检索增强多模态问答能力
研究人员推出了一种新颖的多模态问答方法ColGraphRAG，该方法通过专注于图谱链接图像的晚期交互评分来增强证据检索。此方法旨在通过确保相关视觉资产（包括特定图像块和标记）在用于下游推理的结构化证据图中得到充分表示来提高准确性。在MultimodalQA基准上的初步评估表明，这种晚期交互评分技术能够更好地检索图像候选对象，并随后提高问答性能，尤其是在视觉证据至关重要的场景中。
-
新的RAG方法通过选择性升级模态使用来降低VLM成本
研究人员开发了一种新的多模态检索增强生成（RAG）方法，称为后验选择性模态升级。该方法通过首先尝试仅使用文本和表格回答查询，然后仅在必要时选择性地启用昂贵的视觉语言模型（VLM）来优化成本。验证器识别缺失的模态，校准后的路由器决定视觉信息带来的准确性提升是否值得成本。该技术在MultiModalQA等基准测试中，显著减少了VLM调用，同时保持了始终开启的VLM流水线的准确性。
-
新的GRAIL框架将多模态问答性能提升40%
研究人员开发了GRAIL（Gap-aware Retrieval via Adaptive Implicit Localization，间隙感知自适应隐式定位检索），一个旨在改进多模态多跳问答的新型检索框架。GRAIL解决了传统迭代检索系统中可能导致冗余证据检索的语义锚定问题。通过在嵌入层面执行隐式查询重写并采用上下文减法查询引导，GRAIL增强了组合式跨模态推理能力。该框架在MultimodalQA基准测试上实现了39.9%的宏平均性能提升。