Audio-Zero

Audio-Zero 框架在无标签情况下增强了 LLM 的音频推理能力

研究人员开发了 Audio-Zero，一个旨在增强大型音频语言模型 (LALM) 细粒度音频推理能力的新框架。该方法采用无标签自演化方法，创建了一个自玩游戏，模型生成音频片段的描述并识别细微差别。这个过程使模型能够在无需昂贵的外部标签的情况下提高其听觉感知和推理能力。实验表明，Audio-Zero 在保持更广泛理解能力的同时，能有效提升细粒度音频理解能力，演化分析显示出现了更详细的听觉描述。