MultiInpaintCOCO

新的基准 MultiInpaintCOCO 揭示了多语言视觉-语言模型的偏见

一个名为 MultiInpaintCOCO 的新多语言基准已被开发出来，用于评估视觉-语言模型在多种语言中理解细粒度图像细节的能力。该基准扩展了英文 InpaintCOCO 数据集，揭示了当前最先进的模型在低资源语言方面存在困难，性能下降与数据可用性而非与英语的语言相似性有关。值得注意的是，许多模型即使在提供了正确的非英语字幕时，也表现出对英语字幕的偏见，其中 Gemma 3 比 Qwen 3 更倾向于英语。