Omni-MLLMs

新基准AVI-Bench揭示全模态大语言模型在视听智能方面的局限性

研究人员推出了AVI-Bench，一个旨在评估全模态多模态大语言模型（Omni-MLLMs）视听智能的新基准。该基准使用需要联合视听理解的任务，在感知、理解和推理阶段评估模型。一个扩展版本AVI-Bench-PriSe，通过不熟悉的刺激进一步测试鲁棒性，以评估超出典型训练数据的泛化能力。实验表明，当前的全模态大语言模型在视听智能方面存在显著局限性。