OverClocked ReMix

新协议评估音频大语言模型的事实音乐理解能力

研究人员开发了一种新协议，用于准确评估大型音频语言模型（LALM）的事实音乐理解能力。现有的MusicQA数据集被发现不足以衡量LALM响应的事实正确性。新协议提示LALM提供可验证的信息，并将它们的开放式回答解析为结构化格式，以便使用精确率、召回率和F1分数进行客观评估。该协议被用于在三个数据集的六项事实信息检索任务上对包括Gemini和Music Flamingo在内的九个LALM进行基准测试。