abjadai

新的阿拉伯语文本去重系统使用CTC提高LLM效率

研究人员开发了CANDLE，一种用于去重阿拉伯语文本中字符的新颖系统，特别解决了区分社交媒体上故意的字符拉长与非正式用法之间的挑战。该系统利用连接主义时间分类（CTC）将归一化视为序列对齐问题，在各种基准测试中实现了5.37%的低句子错误率。该模型的蒸馏版本在推理开销和分词器肥沃度方面提供了显著的降低，有可能降低阿拉伯语LLM的成本并提高上下文窗口利用率。