Page Encoding

新的VinQA数据集增强了多模态LLM在文档问答方面的能力

研究人员推出了VinQA，一个旨在提高多模态大语言模型（MLLMs）在真实世界文档问答能力的新数据集。与以往模型常生成纯文本答案不同，VinQA专注于生成整合了引用的视觉元素（如图像和图表）与支持性文本的长篇答案。该研究还探讨了文档页面图像的两种编码方法，并提出了M-GroSE，一个用于评估答案质量（包括视觉引用准确性）的多模态评估框架。