SonicCaps

新的SonicCaps数据集通过多样化字幕增强音频语言模型

研究人员推出了SonicCaps，这是一个新推出的、大规模的数据集，旨在改进音频语言建模和音频检索。该数据集包含约1500万个字幕，与70万个音频片段配对，使用Qwen3-Omni多模态模型生成。SonicCaps旨在通过提供多样化、细粒度的字幕来克服现有数据集的局限性，这些字幕能够捕捉声学细节并反映听觉感知的模糊性。人类评估表明，SonicCaps字幕被认为更具描述性和精确性，从而在训练CLAP模型进行音频检索和分类任务时提高了性能。