Audio MLLMs

新的DEAF基准揭示音频MLLM依赖文本而非声音

研究人员推出了DEAF，这是一个旨在评估音频多模态大语言模型（Audio MLLMs）声学忠实度的新基准。该基准包含超过2700个跨越情感韵律、背景声音和说话人身份的刺激，以测试这些模型是真正处理声学信号还是依赖文本推断。对七个Audio MLLMs的评估显示，模型倾向于被文本输入驱动，这表明它们在标准语音基准上的表现与真正的声学理解之间存在差距。