研究：语料库结构而非大小决定音频嵌入学习

一篇新发表在arXiv上的研究论文探讨了对比语料库的结构，而非其纯粹的体量，如何决定音频嵌入模型学习到的属性。研究发现，向一个固定的多模态嵌入模型添加词汇语音组件，显著提高了零样本关键词识别能力，但损害了语音情感识别能力。进一步的实验表明，在具有可控韵律的语料库上进行微调可以恢复情感识别能力，这表明属性的编码方式取决于批次内负样本以及语料库结构中可用的分离信号。 AI

排序理由 该集群包含一篇发表在arXiv上的研究论文，详细介绍了关于音频嵌入模型的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →