研究人员推出了机器听觉基准测试(MHB),以探索音频大模型(ALLMs)在感知人类听不到的声音方面的能力。MHB包含13个任务和7个领域的6,128个实例,具有高采样率和长序列长度等多样化的输入模式。目前的ALLMs在零样本迁移到机器听觉方面表现有限,仅靠监督式适应无法弥合这一差距,表明音频前端存在不匹配。为了解决这个问题,开发了一种名为MachEar的轻量级编码器扩展,它在保持现有音频理解能力的同时,增强了预训练ALLM的机器听觉能力。 AI
影响 这项研究可能会将AI模型的感知能力扩展到新的领域,从而实现对人类听力范围之外的声音进行监控或分析的应用。
排序理由 研究论文,介绍了一个新的基准测试和音频大模型的新模型扩展。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →