研究人员开发了 MARVIS,一个新颖的系统,通过将大型语言模型和视觉语言模型(VLM)的潜在嵌入转换为可视化表示,来增强它们的推理能力。这种方法使 VLM 能够解释这些可视化,从而在视觉、音频、生物学和表格数据等不同领域提高了预测性能。一个拥有 30 亿参数的 MARVIS 模型展示了具有竞争力的结果,在无需领域特定训练的情况下,平均性能超越了 Google 的 Gemini 2.0 的 16%。 AI
影响 通过可视化嵌入增强 VLM 推理能力,有可能在无需领域特定调优的情况下提高对不同数据类型的性能。
排序理由 学术论文,详细介绍了一种用于提高 VLM 推理能力的新系统。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →