Liwei Liu

新基准测试探究音频大模型超越人类听力极限的能力

研究人员推出了机器听觉基准测试（MHB），以探索音频大模型（ALLMs）在感知人类听不到的声音方面的能力。MHB包含13个任务和7个领域的6,128个实例，具有高采样率和长序列长度等多样化的输入模式。目前的ALLMs在零样本迁移到机器听觉方面表现有限，仅靠监督式适应无法弥合这一差距，表明音频前端存在不匹配。为了解决这个问题，开发了一种名为MachEar的轻量级编码器扩展，它在保持现有音频理解能力的同时，增强了预训练ALLM的机器听觉能力。