研究人员推出 OpenView，一个旨在增强多模态大语言模型（MLLMs）理解图像可见帧之外内容的能力的新型流水线，这种能力被称为视域外（OOV）推理。该系统包含一个四阶段流水线，利用全景图像生成多样化的多项选择视觉问答（VQA）数据。这种方法，结合精心策划的 OpenView-Dataset 和 OpenView-Bench 基准测试，旨在提高 MLLMs 在 OOV VQA 任务上的表现。实验表明，使用 OpenView 微调的 MLLMs 在答案选择准确率方面平均性能从 48.3% 提升到 62.3%。 AI
影响 增强了 MLLMs 推理图像未见部分的能力，可能改进需要更广泛场景理解的应用。
排序理由 该集群描述了一篇介绍用于改进 MLLM 能力的新方法和数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
