引入了两个新的基准测试 MMCL-Bench 和 Personal-VCL-Bench，用于评估大型语言模型的多模态上下文学习能力。MMCL-Bench 侧重于从视觉规则、程序和证据中学习，而 Personal-VCL-Bench 则评估模型利用用户特定的视觉上下文进行个性化查询的能力。两个基准测试都揭示了当前前沿多模态模型存在的显著局限性，表明它们在有效提取、推理和应用视觉信息方面存在巨大差距。 AI
影响 强调了当前多模态模型的一个关键瓶颈，为个性化人工智能助手的未来研究指明了方向。
排序理由 两篇新的学术论文引入了用于评估大型语言模型多模态上下文学习的基准测试。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
We introduce MMCL-Bench, a benchmark for multimodal context learning: learning task-local rules, procedures, and empirical patterns from visual or mixed-modality teaching context and applying them to new visual instances. Unlike text-only context learning or standard multimodal q…
As wearable devices like smart glasses integrate Large Multimodal Models (LMMs) into the continuous first-person visual streams of individual users, the evolution of these models into true personal assistants hinges on visual personalization: the ability to reason over visual inf…