新的BAT系统使用LLM进行空间声音推理

研究人员开发了BAT，一个结合了双耳声景分析模型和大型语言模型（LLM）以实现空间声音推理的系统。为此，他们通过合成AudioSet和SoundSpaces 2.0的空间音频创建了一个新数据集，并开发了SpatialSoundQA，一个用于空间声音感知的问答数据集。该系统的声学前端，即空间音频频谱Transformer（Spatial-AST），在声音事件检测、定位和距离估计方面表现出色。当与LLaMA-2 7B模型集成时，BAT在空间声音感知和推理方面都展现出卓越的能力。 AI

影响 这项研究展示了LLM在增强空间音频感知和解释方面的潜力，为AI理解复杂声学环境开辟了新途径。

排序理由 该集群描述了一篇关于使用LLM进行空间声音推理的新系统和数据集的详细研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AudioSet
• large-language models
• LLaMA-2 7B
• SoundSpaces 2.0
• Spatial-AST
• Spatial Audio Spectrogram Transformer
• SpatialSoundQA
• Zhisheng Zheng

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →