ValueGround

新基准测试多模态大语言模型在面向文化的视觉对齐能力

研究人员开发了一个名为ValueGround的新基准，用于评估多模态大语言模型（MLLMs）在呈现视觉信息时理解和应用文化价值观的程度。该基准源自世界价值观调查问题，使用图像对来代表不同的价值倾向，要求模型在没有文本提示的情况下选择与特定国家价值观相符的图像。实验显示，当视觉选项取代文本时，模型性能显著下降，平均准确率从72.8%降至62.6%，凸显了跨模态文化理解的挑战。