PulseAugur
中
实时 09:02:33
English(EN) Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

新基准和蒸馏方法推动多模态大语言模型理解能力提升

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了改进多模态大语言模型（MLLMs）的新方法。其中一种方法，Token级响应-视觉注意力引导（TRAG），侧重于蒸馏响应到视觉的注意力信号，而非提示到视觉的信号，并使用特定于token的目标来更好地模仿教师模型的视觉焦点。另外，引入了一个名为VKnowU的新基准，用于评估MLLMs的视觉知识理解能力，该基准超越了对象识别，评估了对物理和社会原理的理解。在VKnowU上的评估显示，当前领先的MLLMs在理解世界中心知识方面仍落后于人类表现。 AI

影响 蒸馏和评估基准的进步对于开发更强大、更易于理解的多模态人工智能系统至关重要。

排序理由 arXiv上发表的两篇研究论文，介绍了多模态大语言模型的新方法和基准。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新基准和蒸馏方法推动多模态大语言模型理解能力提升

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Jaehyun Jang, Eunseop Yoon, Hee Suk Yoon, SooHwan Eom, Mark A. Hasegawa-Johnson, Chang D. Yoo ·

    Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

    arXiv:2607.02593v1 Announce Type: cross Abstract: While knowledge distillation (KD) is widely adopted for training lightweight models by leveraging supervision from larger teacher models, relying solely on output token distributions has proven insufficient for compressing Multimo…

  2. arXiv cs.CV TIER_1 English(EN) · Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang ·

    VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs

    arXiv:2511.20272v2 Announce Type: replace Abstract: While Multimodal Large Language Models (MLLMs) have become adept at recognizing objects, they often lack the intuitive, human-like understanding of the world's underlying physical and social principles. This high-level vision-gr…

相关实体

相关话题