English(EN) VLMEvalKit: An Open-Source Toolkit for Evaluating Large Multi-Modality Models

开源工具包VLMEvalKit发布，用于评估多模态模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-07 04:00

研究人员开发了VLMEvalKit，一个使用PyTorch构建的开源工具包，用于评估大型多模态模型。该工具包支持超过450种模型配置和330个基准测试，简化了数据准备、推理和指标计算的过程。它还托管了OpenVLM排行榜，以跟踪多模态学习研究的进展。 AI

影响标准化了多模态模型的评估，有望加速该领域的研发。

排序理由该条目描述了一个用于评估多模态模型的开源工具包和相关排行榜，作为arXiv上的研究成果发布。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Haodong Duan, Xinyu Fang, Junming Yang, Xiangyu Zhao, Zerun Ma, Yuxuan Qiao, Mo Li, Tianhao Liang, Lin Zhu, Amit Agarwal, Xiaozhe Li, Shengyuan Ding, Jiazi Bu, Ziyu Liu, Zhangyang Qi, Yifei Li, Yuhang Zang, Zhe Chen, Lin Chen, Yuan Liu, Yubo Ma, Hailong … · 2026-07-07 04:00

VLMEvalKit: An Open-Source Toolkit for Evaluating Large Multi-Modality Models

arXiv:2407.11691v5 Announce Type: replace Abstract: We present VLMEvalKit: an open-source toolkit for evaluating large multi-modality models based on PyTorch. The toolkit aims to provide a user-friendly and comprehensive framework for researchers and developers to evaluate existi…