研究发现视觉令牌修剪会影响多模态大语言模型的校准

一篇新的研究论文探讨了视觉令牌修剪对多模态大语言模型（MLLMs）校准的影响。该研究发表在arXiv上，揭示了修剪令牌的方法显著影响模型校准，即模型置信度与其正确性之间的一致性。基于覆盖率的修剪方法，侧重于保持证据覆盖率，在LLaVA-1.5和Qwen2-VL等各种模型上，以最小的准确率损失实现了校准的改进。相比之下，基于注意力的修剪方法有时会导致准确率下降和过度自信增加。 AI

影响 这项研究强调了在评估MLLMs的修剪方法时，将校准与准确率一同评估的重要性，这可能会影响未来的模型开发和效率优化。

排序理由 发表在arXiv上的研究论文，详细介绍了关于多模态大语言模型的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• GQA
• Kaizhen Tan
• LLaVA-1.5
• LLaVA-NeXT
• POPE
• Qwen2-VL
• ScienceQA

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →