Tigre

新的MoVoC分词器改进了Ge'ez脚本语言的形态处理能力

研究人员开发了MoVoC（形态感知子词词汇构建），这是一种新颖的分词器，旨在更好地处理形态复杂的语言，特别是那些使用Ge'ez脚本的语言。该方法将监督形态分析与字节对编码等子词分词方法相结合，以在保持词汇意义的同时保留形态边界。该团队发布了四种Ge'ez脚本语言的标注数据和一个形态感知的词汇表，证明了在Tigre等语言的形态分割方面性能有所提高，即使是跨语言应用也是如此。