Spatial Audio Spectrogram Transformer

新的BAT系统使用LLM进行空间声音推理

研究人员开发了BAT，一个结合了双耳声景分析模型和大型语言模型（LLM）以实现空间声音推理的系统。为此，他们通过合成AudioSet和SoundSpaces 2.0的空间音频创建了一个新数据集，并开发了SpatialSoundQA，一个用于空间声音感知的问答数据集。该系统的声学前端，即空间音频频谱Transformer（Spatial-AST），在声音事件检测、定位和距离估计方面表现出色。当与LLaMA-2 7B模型集成时，BAT在空…