Kimi-Audio-7B-Instruct

研究揭示音频大模型对评估差异敏感

一篇新发表在arXiv上的研究论文，考察了大型音频语言模型（LALMs）在使用多项选择问答（MCQA）框架进行评估时的鲁棒性。研究人员发现，像Audio Flamingo 2、Audio Flamingo 3、Qwen2.5-Omni-7B-Instruct和Kimi-Audio-7B-Instruct等模型对问题和选项措辞的变化以及选项呈现顺序很敏感。为解决这些局限性，该研究提出了一种更鲁棒的LALMs评估协议和指标。