研究人员开发了一种名为令牌激活图（TAM）的新方法，用于理解多模态大语言模型（MLLMs）在描述艺术品时如何处理视觉信息。TAM生成热力图，突出显示影响每个生成令牌的具体视觉区域，揭示了MLLMs将不同类型的描述（例如，物体、风格、情感）与图像的不同部分联系起来。研究还发现，MLLMs在识别艺术家方面比预测艺术品标题更准确，并且经常会虚构标题。 AI
影响 提供了一个工具，以更好地理解多模态模型的视觉基础能力，有助于开发更可靠的图像分析和描述AI系统。
排序理由 学术论文，详细介绍了一种分析大语言模型视觉推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
