VELD-QA

新的VELD-QA基准针对长文档中的视觉证据

研究人员推出了VELD-QA，这是一个新推出的、大规模的基准，旨在评估长文档中视觉证据的定位和问答能力。该基准包含 15,000 个由人类编写的问答对，这些问答对源自 5,859 份真实世界的 PDF 文件，总计超过 370,000 页。VELD-QA 包含支持页面和视觉元素的详细注释，可以分别评估检索和解读能力。对九个视觉语言模型和七个检索增强系统的评估显示，在证据定位和解读方面存在重大挑战，表明即使能够完全访问文档，性能仍然有限。