Choffrut

新研究论文详细介绍了可判定的分词验证

一篇新研究论文介绍了“有限可验证分段”（Finitely Verifiable Segmentation），一种用于分析自然语言处理中分词策略的方法。该论文证明，通过使用有限自动机作为验证器，几个先前复杂的分段问题可以得到明确的解答。这种方法适用于字节对编码（byte-pair encoding）和WordPiece等常见分词器，并且在“munch library”中提供了实现。