研究人员推出了VELD-QA,这是一个新推出的、大规模的基准,旨在评估长文档中视觉证据的定位和问答能力。该基准包含 15,000 个由人类编写的问答对,这些问答对源自 5,859 份真实世界的 PDF 文件,总计超过 370,000 页。VELD-QA 包含支持页面和视觉元素的详细注释,可以分别评估检索和解读能力。对九个视觉语言模型和七个检索增强系统的评估显示,在证据定位和解读方面存在重大挑战,表明即使能够完全访问文档,性能仍然有限。 AI
影响 该基准旨在通过识别视觉解读和证据定位方面的瓶颈来改进多模态文档问答系统。
排序理由 该条目描述了一个用于研究目的的新学术数据集和基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →