SAC-Bench

新基准揭示音频-语言模型难以处理语音和声音冲突

研究人员推出了SAC-Bench，这是一个新的基准，旨在评估音频-语言模型（ALMs）在处理同一录音中语音声明与声学证据之间的冲突信息的能力。该基准包含来自各种任务的超过60万个片段，将环境声音与兼容或矛盾的合成语音配对。对五个开源ALMs的初步评估显示，虽然模型在仅音频任务上可能表现良好，但在面对冲突声明时，其准确性会显著下降，尤其是在识别事件和时间顺序方面。