bge-base-en-v1.5

BGE 嵌入模型需要特定的本地设置以获得最佳性能

由北京人工智能研究院开发的 BGE 嵌入模型系列提供了多个版本，具有不同的维度和序列长度。为获得最佳性能，嵌入应进行归一化，从而可以通过点积计算余弦相似度。用户必须注意 512 个 token 的最大序列长度限制，这需要对较长的文档进行分块处理，并且 BGE 模型不同语言版本不能在单个索引中混合使用。此外，池化策略，特别是使用 [CLS] token 的最后一个隐藏状态，对于准确的向量表示至关重要。