VocalGrad

新的 VocalGrad 基准揭示了音频语言模型在声学感知方面存在重大差距

一个名为 VocalGrad 的新基准已被开发出来，用于评估大型音频语言模型（LALM）的声学感知能力。研究人员发现，在需要感知低级声学变化的任务上，当前的 LALM 的表现接近于随机猜测水平，远不如人类标注员。通过线性探测进行的分析显示，虽然一些模型在其内部表示中保留了相关的声学信息，但它们未能通过其语言模型头部有效地利用这些信息，而另一些模型则在不同层级中逐渐丢失这些信息。