一篇新的研究论文探讨了两种常见的分词方法——字节对编码 (BPE) 和 Unigram-LM——在应用于化学 SMILES 字符串时产生的差异。研究发现，这些算法会产生显著不同的词汇表，其中 Unigram-LM 将分子分割成比 BPE 更多的 token。这表明子词算法的选择对于化学语言模型来说是一个关键的建模决策，而不是一个默认设置。 AI
影响 强调了分词算法选择对于化学语言模型的重要性，可能影响下游性能。
排序理由 研究论文详细介绍了对化学 SMILES 的两种分词算法进行的受控比较。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2607.05691v1 Announce Type: new Abstract: Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is …
Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is known to build structurally different vocabulari…
Byte-pair encoding and Unigram-LM create distinctly different subword vocabularies in chemical language models, with no convergence between the two approaches across diverse corpus types and vocabulary sizes.