VocSim

新的 VocSim 基准在无训练情况下测试音频 AI

研究人员推出 VocSim，这是一个新颖的基准，旨在评估音频表示而无需任何训练。该基准评估了跨各种音频类型（包括人类语音、动物叫声和环境声音）的冻结嵌入的内在对齐。VocSim 揭示了低资源语音中存在显著的泛化差距，尽管局部检索能力仍高于随机水平，但有所下降。该基准的有效性通过其预测鸟类感知相似性和改进生物声学分类的能力得到了进一步证明。