PulseAugur
中
实时 22:18:38
English(EN) Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG

新的RAG方法通过选择性升级模态使用来降低VLM成本

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种新的多模态检索增强生成（RAG）方法，称为后验选择性模态升级。该方法通过首先尝试仅使用文本和表格回答查询，然后仅在必要时选择性地启用昂贵的视觉语言模型（VLM）来优化成本。验证器识别缺失的模态，校准后的路由器决定视觉信息带来的准确性提升是否值得成本。该技术在MultiModalQA等基准测试中，显著减少了VLM调用，同时保持了始终开启的VLM流水线的准确性。 AI

影响 这种方法可以显著降低与多模态AI系统相关的计算成本，使其在更广泛的应用中更易于访问和更高效。

排序理由 该集群包含一篇详细介绍多模态RAG新方法的论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的RAG方法通过选择性升级模态使用来降低VLM成本

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Xue Li, Yiming Gai ·

    模态相关性并非模态效用：成本感知多模态RAG的后验选择性模态升级

    arXiv:2607.05438v1 Announce Type: cross Abstract: Multimodal retrieval-augmented generation (RAG) grounds a generator in evidence drawn from heterogeneous modalities -- text, tables, and images. The dominant deployment choice is binary and made before the model has tried to answe…

  2. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Yiming Gai ·

    模态相关性并非模态效用：成本感知多模态RAG的后验选择性模态升级

    Multimodal retrieval-augmented generation (RAG) grounds a generator in evidence drawn from heterogeneous modalities -- text, tables, and images. The dominant deployment choice is binary and made before the model has tried to answer: either run a cheap text(+table) pipeline, or pa…

相关实体

相关话题