MuseBench

新的MuseBench基准揭示多模态大语言模型缺乏深层艺术理解能力

研究人员推出MuseBench，一个旨在评估多模态大语言模型（MLLMs）艺术理解能力的新基准。该基准包含超过4000个跨越不同视听艺术形式（包括电影、视觉艺术和游戏设计）的问题，侧重于对创意选择背后原因的推理，而非仅仅识别。目前最先进的多模态大语言模型在此领域表现出显著差距，最佳模型准确率仅为48.29%，而人类专家的准确率为87.18%。