BertNormalizer

BERT 分词器规范化瓶颈被揭示，优化版本提供显著加速

Simon Brandeis 在 Hugging Face 上报告的一项最新分析显示，BERT 分词器中的规范化步骤消耗了绝大部分处理时间，占英语编码过程的 88%。WordPiece 算法本身仅占用了 8% 的时间。Brandeis 提出了一种优化实现，该实现利用向量指令和页面缓存来识别和跳过不需要规范化的文本，在某些语料库（尤其是英语和源代码）中，BERT 编码的速度提高了 5.7 倍。