RA-QA

新的RA-QA基准测试在真实世界条件下评估呼吸道音频AI

研究人员推出RA-QA，一个旨在评估呼吸道音频问答模型在真实、异质条件下性能的新基准测试系统。该系统包括标准化的数据生成流程、包含900万对数据的多模态问答集以及统一的评估协议。该基准测试旨在解决现有研究的局限性，这些研究的评估范围通常狭窄，并且缺乏跨模态、设备和问题类型的真实多样性。对通用音频语言模型和领域特定架构的初步基准测试显示，在暴露于异质性时存在显著的失效模式。