Stefan Decker

Hugging Face 训练嵌入模型以实现高效检索

Hugging Face 推出了一种名为 Token Pooling 感知训练的新训练技术，旨在提高多向量嵌入模型的效率。该方法通过合并相似的 token 向量来解决这些模型的大存储需求问题，从而减少了每个文档所需的向量数量。训练过程教会编码器在合并过程中保留关键信息，从而在不增加存储成本的情况下提高检索质量。实验表明，使用 4 的池化因子，该技术可以保留近 98% 的检索质量，同时将文档向量减少 4 倍。