Unigram Language Model

为爱尔兰语词元化对齐开发新资源和评估指标

研究人员为爱尔兰语词元化开发了新资源和评估指标，旨在使数字处理与该语言的形态结构对齐。该论文介绍了MoirfEolas，一个包含超过35,000个爱尔兰语单词及其相关词缀的数据集，以及CríochScore，一个用于评估词元化与这些形态边界对齐程度的指标。评估表明，Unigram Language Model在与爱尔兰语形态对齐方面优于其他测试算法，为开发爱尔兰语NLP工具和解决该语言的低资源状况提供了实用见解。