Hunter Heidenreich

BPE 对比 Unigram-LM：分词算法为化学 SMILES 创建了不同的词汇表

一篇新的研究论文探讨了两种常见的分词方法——字节对编码 (BPE) 和 Unigram-LM——在应用于化学 SMILES 字符串时产生的差异。研究发现，这些算法会产生显著不同的词汇表，其中 Unigram-LM 将分子分割成比 BPE 更多的 token。这表明子词算法的选择对于化学语言模型来说是一个关键的建模决策，而不是一个默认设置。