Sentence Error Rate

新系统CANDLE使用CTC进行阿拉伯语文本噪声去重

研究人员开发了CANDLE，一个用于字符级阿拉伯语噪声去重的创新系统。该系统利用连接主义时间分类（CTC）将归一化视为一个序列对齐问题，这种方法以前并未应用于字符去重。在各种基准测试中，CANDLE的句子错误率低至5.37%，并且显著优于基于分类的基线。该系统进一步被提炼成一个更小的、2层的模型，性能损失极小，提供了实际效益，例如降低了阿拉伯语LLM的分词器肥沃度，从而降低了推理成本并提高了上下文窗口利用率。