ALM2Vec

ALM2Vec框架使用大型音频语言模型进行通用音频检索

研究人员推出了一种新颖的框架ALM2Vec，旨在通过利用大型音频语言模型（LALMs）来创建通用音频嵌入。与以往专注于音频-字幕匹配的方法不同，ALM2Vec旨在支持更广泛的检索目标和可控行为。该框架转移了LALMs的能力，实现了面向指令的检索，用于音频问答和面向方面检索等任务。实验表明，ALM2Vec在标准基准测试中表现具有竞争力，同时展示了在不同领域和用户意图中统一音频嵌入的潜力。