研究人员开发了一种新的文本嵌入模型训练方法,该方法将蒸馏技术与特定任务的对比损失相结合。这种方法旨在创建紧凑、高性能的嵌入模型,其性能优于纯粹的对比或基于蒸馏的方法。由此产生的模型 jina-embeddings-v5-text-small 和 jina-embeddings-v5-text-nano 在同等规模下达到了最先进的基准分数,并支持长文本的稳健嵌入。 AI
影响 引入了一种新颖的训练方案,用于开发紧凑、高性能的文本嵌入模型,可能推动语义相似性任务的发展。
排序理由 这是一篇详细介绍新嵌入模型训练方法的论文,并提供了公开可用的模型权重。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →