研究人员开发了SSEmb,一种新颖的语音检索模型,它利用自动语音识别(ASR)数据,而不是昂贵的口语查询-文档对。该方法使用冻结的语音编码器和冻结的预训练文本嵌入模型,并使用轻量级适配器将语音嵌入投影到检索空间。SSEmb在与级联的ASR-then-retrieve系统相比时,表现出有竞争力的性能,提供了更低的推理延迟,并优于现有的公共语音嵌入模型。该模型还通过在不进行进一步训练的情况下转移到文本到语音和语音到语音检索,显示出通用性。 AI
影响 该模型可以显著降低构建能够从语音查询中检索信息的语音代理的成本和复杂性。
排序理由 详细介绍新模型和训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →