新框架增强MLLM在视觉问答中的知识推理能力

研究人员开发了一个名为Hindsight Distilled Reasoning (HinD) 的新框架，以提高多模态大语言模型 (MLLM) 在视觉问答任务中的知识推理能力。HinD框架采用一种自鼓励蒸馏过程，其中一个“Hindsight Teacher”模型生成带有正确答案的推理轨迹，然后用于训练一个“Foresight Student”模型。该学生模型在事先不知道答案的情况下，学习生成逐步推理和相关事实，从而增强其有效整合外部知识的能力。在OK-VQA和A-OKVQA数据集上的实验表明，HinD即使使用较小的MLLM，也比依赖商业API或检索知识的方法取得了更优越的性能。 AI

影响 增强了多模态LLM在复杂问答任务中的推理能力，有可能在不使用外部API的情况下提高性能。

排序理由 这是一篇研究论文，详细介绍了用于改进多模态大语言模型在特定任务中表现的新框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• A-OKVQA
• Chain-of-Thought
• Foresight Student
• Hindsight Distilled Reasoning
• Hindsight Teacher
• Knowledge-based Visual Question Answering
• Knowledge Encouragement Preference Optimization
• multimodal large language models
• OK-VQA
• Yu Zhao

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →