研究人员开发了StaRSE,这是一种专为俄语处理设计的新型静态句子编码器。该编码器通过在部署时无需进行Transformer计算,将token方向存储为符号位和单独的范数,从而显著降低了推理成本。StaRSE从ruBERT-base初始化,并在特定的俄语句子对上进行了微调,在RuMTEB基准测试中取得了51.16的平均分,比静态基线高出7分以上。该模型非常紧凑,仅11.3 MiB,平均CPU延迟为每句0.08毫秒,使其适用于CPU密集型应用。 AI
影响 为俄语句子嵌入的生成提供了一种更有效的方法,有可能在资源受限的设备上实现更广泛的部署。
排序理由 该集群包含一篇详细介绍新模型架构和基准测试结果的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →