一个名为PuMVR的新基准已被开发出来，用于评估视觉语言模型（VLMs）在处理单一语言内多种脚本方面的能力。该基准包含1000个跨越旁遮普语的Gurmukhi、Shahmukhi和Roman脚本的并行图像-文本实例，揭示了10个最先进的VLMs存在显著的“脚本差距”。这些模型通常在一个脚本上表现良好，但在其他脚本上却表现不佳，准确率差异高达16%。该研究提出了脚本一致性率（SCR）作为评估脚本无关VLM性能和确保公平AI访问的关键指标。 AI
影响 凸显了当前多语言VLM的一个关键局限性，可能推动更脚本无关的AI系统的发展。
排序理由 该集群包含一篇介绍AI模型新基准和评估方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.17188v1 Announce Type: cross Abstract: Current multilingual evaluations for Vision-Language Models (VLMs) assume a one-to-one mapping between language and orthography, overlooking billions of users of multi-script languages. We introduce PuMVR (Punjabi Multimodal Visua…
Current multilingual evaluations for Vision-Language Models (VLMs) assume a one-to-one mapping between language and orthography, overlooking billions of users of multi-script languages. We introduce PuMVR (Punjabi Multimodal Visual Reasoning), a benchmark of 1,000 strictly parall…