Bashar Alhafni

新的阿拉伯语句子分割语料库挑战LLM，青睐轻量级模型

研究人员开发了AraSEG，一个旨在改进阿拉伯语句子分割的新语料库，由于标点符号不一致，这通常具有挑战性。该语料库涵盖了八种体裁和各种标点条件，以测试模型的鲁棒性。使用AraSEG进行的实验表明，在困难的分割场景中，轻量级编码器模型和基于依赖解析器的模型优于大型语言模型（LLM）。研究还发现，虽然增加训练数据量可以提高性能，但跨体裁泛化仍然是一个挑战，尽管准确的分割对依赖解析等下游任务有显著益处。