Escucha

ESCUCHA基准发布，用于LALM中的西班牙语语音理解

研究人员推出了ESCUCHA，这是一个旨在专门评估西班牙语大型音频语言模型（LALM）的新基准。该基准解决了在现实的、异构的声学条件下评估LALM的不足之处，并包含了各种西班牙语口音和非标准语音。ESCUCHA包含1000个由人工策划的问题，音频总时长超过160小时，强调跨类别推理能力，并包含多音频问题和口语指令等复杂音频格式。对最先进模型的初步基准测试表明，与人类能力相比存在显著的性能差距。