Leshem Choshen

LiveXiv benchmark 使用 ArXiv 论文测试多模态 AI 模型

研究人员推出了 LiveXiv，这是一个新颖的基准测试，通过从 ArXiv 论文中动态生成视觉问答对来评估大型多模态模型 (LMM)。此方法旨在防止测试数据污染，并更准确地评估模型能力。LiveXiv 自动从手稿中提取图表等内容，无需人工干预，并且高效的评估方法降低了总体成本。该基准测试已被用于测试多个开源和专有 LMM，其中手动验证的子集与自动标注相比，性能差异极小。