SO-Dataset

新方法提升LLM的空间音频和通用音频理解能力

研究人员开发了两种新方法，Spatial-Omni和AuRA，以增强大型语言模型（LLM）的音频理解能力。Spatial-Omni将空间音频线索通过一阶Ambisonics编码整合到现有LLM中，为空间音频任务创建了新的数据集和基准。另一方面，AuRA采用了一种带有LoRA适配的蒸馏方法，将音频编码内化到LLM中，实现了高效的并行推理，并优于级联系统。