研究人员推出CRAG-MM-Diagnostics，这是一个旨在分析视觉语言模型（VLM）在知识密集型视觉问答（KI-VQA）方面性能的新基准。该诊断工具将KI-VQA过程分解为不同的阶段，包括视觉定位、物体识别以及知识检索/推理，以 pinpoint 具体失败的领域。研究结果表明，知识检索和推理是当前VLM的主要挑战，尽管在物体识别和将文本线索与图像检索相结合方面也存在问题。通过实施一个包含视觉定位后进行图像检索的接地双模态RAG管道，GPT-5和Qwen等模型的准确性得到了显著提高。 AI
影响 该基准可以推动VLM推理和知识检索能力的提升，这对于更高级的AI助手至关重要。
排序理由 该集群描述了在arXiv上发表的一个新的诊断基准和研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.21155v1 Announce Type: cross Abstract: Knowledge-Intensive Visual Question Answering (KI-VQA) benchmarks evaluate Vision-Language Models (VLMs) as multimodal knowledge assistants by requiring external information beyond a provided image to answer questions. KI-VQA invo…
Knowledge-Intensive Visual Question Answering (KI-VQA) benchmarks evaluate Vision-Language Models (VLMs) as multimodal knowledge assistants by requiring external information beyond a provided image to answer questions. KI-VQA involves multiple sub-problems -referring expression u…