PERLEX

新的波斯语模型IHUBERT在NLU基准测试中取得进展

研究人员推出IHUBERT，一个基于RoBERTa-base编码器的新波斯语语言模型。该模型在一个精心策划的45 GB数据集上进行了训练，该数据集源自Sepahr-Danesh集合，并采用了多阶段预处理流程，包括用于领域平衡的语义去重。IHUBERT在七个波斯语自然语言理解基准测试中进行了评估，表现强劲，尤其是在抽取式问答方面，在PQuAD和ParsiNLU-RC上均获得第一名。