McNemar tests

新基准揭示视觉语言模型在脚本一致性方面存在困难

一个名为PuMVR的新基准已被开发出来，用于评估视觉语言模型（VLMs）在处理单一语言内多种脚本方面的能力。该基准包含1000个跨越旁遮普语的Gurmukhi、Shahmukhi和Roman脚本的并行图像-文本实例，揭示了10个最先进的VLMs存在显著的“脚本差距”。这些模型通常在一个脚本上表现良好，但在其他脚本上却表现不佳，准确率差异高达16%。该研究提出了脚本一致性率（SCR）作为评估脚本无关VLM性能和确保公平AI访问的关键指标。