PulseAugur
中
实时 10:13:57

新型AraSSM模型提供高效的阿拉伯语处理能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出AraSSM，这是一种专为阿拉伯语掩码语言建模设计的新型双向Mamba编码器。该模型旨在通过利用选择性状态空间模型（SSM）来实现更高效的序列建模，从而克服传统Transformer编码器的二次方扩展限制。AraSSM在阿拉伯语维基百科和CulturaX的组合语料库上进行了预训练，并在多个阿拉伯语NLU基准测试上进行了评估，在情感分类和命名实体识别等任务上表现出与现有基于Transformer的模型相当或更优的性能。 AI

影响 引入了一种更高效的架构，用于处理长阿拉伯语文本序列，有望提高下游NLP任务的性能。

排序理由 该集群描述了一篇介绍新型自然语言处理模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新型AraSSM模型提供高效的阿拉伯语处理能力

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Ahmed Amine Aliane, Hassina Aliane, Nasredine Semmar ·

    AraSSM：一种用于阿拉伯语掩码语言建模的双向状态空间编码器

    arXiv:2608.08256v1 Announce Type: new Abstract: Pretrained Transformer encoders such as AraBERT, MARBERT, and CAMeLBERT have become the standard backbone for Arabic natural language understanding, but their self-attention mechanism scales quadratically with sequence length, which…

相关实体

相关话题