STSbTR

新的土耳其语嵌入模型通过高效适配实现SOTA

研究人员开发了一个新的、专注于土耳其语的句子嵌入模型embeddingmagibu-200m，该模型在需要更少计算资源的情况下，显著优于更大的教师模型。该模型是通过一个三阶段的适配过程创建的，包括一个定制的、针对土耳其语优化的分词器、克隆教师模型的架构，以及从预计算的嵌入中进行离线蒸馏。这种方法产生了一个拥有2亿参数的模型，在土耳其语基准测试中取得了最先进的性能，并附带所有必要的工件以供复现。