AS-20K

新的MiCLA框架增强了复调音频表示学习

研究人员开发了一个名为MiCLA的新自监督预训练框架，用于复调音频表示学习。这种两阶段方法使用合成的log-mel混合来将混合表示与其组成声音事件对齐。MiCLA在下游任务上表现出色，在AS-20K和AS-2M数据集上取得了高平均精度（mAP），并在冻结的Convex Gated Probing设置下优于AudioSet上的其他模型。该框架还显示了对组成类别同时检索能力的提高，表明其在从复杂音频混合物中学习方面的有效性。