KoALa-Bench

新的KoALa-Bench基准评估LLM的韩语语音理解能力

研究人员推出了KoALa-Bench，这是一个旨在评估大型音频语言模型（LALMs）在韩语语音理解和忠实度方面性能的新基准。该基准包含六项任务，其中四项侧重于核心语音理解，如ASR和翻译，另外两项评估模型利用语音输入的能力。KoALa-Bench还融入了韩国特有的知识，借鉴了大学入学考试和文化内容，并已在六种不同的LALMs上进行了测试。