BanglaVerse

新基准评估多语言视觉语言模型对孟加拉文化和方言的理解

研究人员开发了BanglaVerse，这是一个旨在评估多语言视觉语言模型（VLMs）在孟加拉文化背景下文化理解能力的新基准。该基准包含1,152张图像和约32.2K个跨越九个领域的工件，支持孟加拉方言以及印地语和乌尔都语等历史关联语言。实验表明，与标准孟加拉语相比，模型在处理方言变体时表现明显较差，这表明文化知识的缺乏是主要限制，而不仅仅是视觉基础的不足。