MSIBench

新基准揭示 MLLM 易受“情境幻觉”影响

研究人员发现了一种称为“情境幻觉”的现象，即真实世界情境的外观与其实际状态不同，这对多模态大语言模型（MLLM）构成了挑战。他们开发了一个分类法来对这些幻觉进行分类，并引入了 MSIBench，一个用于评估 MLLM 在这些条件下的性能的基准。评估表明，当前的 MLLM 极易受到这些幻觉的影响，在视觉观察、基础理解和推理方面表现出常见的故障模式。简单的缓解技术，包括提示和微调，显示出高达 20% 的改进，为实现更强大的多模态 AI 指明了方向。