Youran Sun

新方法修正文本嵌入中的均值偏差

研究人员发现当前文本嵌入模型中存在一种持续的偏差，其中每个嵌入都可以分解为句子特定成分和跨所有句子的几乎相同的均值成分。他们提出了两种无需训练的修正方法 R1 和 R2，其中 R2 通过将嵌入投影到均值方向之外而表现出更优越的性能。在 Massive Multilingual Text Embedding Benchmark (MMTEB) 上的 38 个模型中，R2 持续提高了分类准确率，均值嵌入的范数与模型收益相关。