Paired-Residual Subspace Removal

新方法改进了冻结LLM的多语言文本嵌入

研究人员推出了一种新方法——配对残差子空间移除（PRSR），用于改进冻结的大型语言模型（LLM）的多语言文本嵌入。与以往专注于英语的方法不同，PRSR通过将特定语言的变异与语义内容分离开来，解决了跨语言语义等效句子的不对齐问题。该技术包括从平行句子构建配对残差，以识别特定语言的偏差，然后抑制模型表示中的这些成分。在MTEB和MMTEB等基准以及跨语言双语文本挖掘的18种语言上的广泛评估表明，PRSR能够持续提升现有无训练嵌入方法的性能。