Audio Question Answering

新的ORCA系统可准确评估音频LLM响应

研究人员开发了ORCA，一种用于评估大型音频语言模型（LALM）开放式响应正确性的新型基于模型的方法。该系统采用了一个三阶段的标注流程，包括人工判断、结构化反馈和人机协同纠错，生成了超过9600个标注的数据集。ORCA模型表现强劲，在已知基准测试上与人类正确性评分的Spearman相关性达到0.91，并在新基准测试上泛化能力得分为0.85，优于Gemini 2.5 Flash等模型。