PERLEX

新的IHUBERT模型通过精选预训练提升波斯语理解能力

研究人员开发了IHUBERT，一个基于RoBERTa-base编码器的新波斯语语言模型。该模型在Sepahr-Danesh集合中一个45 GB的精选数据集上进行了训练，总计约70-80亿个token。IHUBERT采用多阶段预处理流程，包括语义去重，以提高语料库质量并平衡领域表示。该模型在各种自然语言理解基准测试中表现强劲，尤其在抽取式问答任务中表现出色。