ANERcorp

新型AraSSM模型提供高效的阿拉伯语处理能力

研究人员推出AraSSM，这是一种专为阿拉伯语掩码语言建模设计的新型双向Mamba编码器。该模型旨在通过利用选择性状态空间模型（SSM）来实现更高效的序列建模，从而克服传统Transformer编码器的二次方扩展限制。AraSSM在阿拉伯语维基百科和CulturaX的组合语料库上进行了预训练，并在多个阿拉伯语NLU基准测试上进行了评估，在情感分类和命名实体识别等任务上表现出与现有基于Transformer的模型相当或更优的性能。