研究人员开发了MoVoC(形态感知子词词汇构建),这是一种新颖的分词器,旨在更好地处理形态复杂的语言,特别是那些使用Ge'ez脚本的语言。该方法将监督形态分析与字节对编码等子词分词方法相结合,以在保持词汇意义的同时保留形态边界。该团队发布了四种Ge'ez脚本语言的标注数据和一个形态感知的词汇表,证明了在Tigre等语言的形态分割方面性能有所提高,即使是跨语言应用也是如此。 AI
影响 增强了形态丰富、资源匮乏语言的NLP能力,可能改进翻译和文本分析。
排序理由 该集群描述了一篇详细介绍自然语言处理新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- byte-pair encoding
- Geʽez script
- Hailay Kidu Teklehaymanot
- Hugging Face
- Morpheme-aware Subword Vocabulary Construction
- MoVoC-Tok
- Tigre
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →