Nicole Cosme-Clifford

新研究揭示AI音频模型的瓶颈并提出解决方案

研究人员发现，端到端神经网络音频模型中存在结构性瓶颈，限制了它们直接表示音高和音色等可解释特征的能力。这些瓶颈可以从模型的架构中预测出来，会将基本元素折叠成别名等价类，并限制频率分辨率。研究引入了一种称为Gabor Latent Refactorization (GLRF) 的事后干预方法，该方法以频率局部化的基底重新表达编码器潜在表示。GLRF在不重新训练的情况下成功减小了滤波器带宽，并提高了对音高属性的控制，同时保持了重建保真度。