van der Merwe

字节对编码形式化：主要大型语言模型中发现的无限分词变化

研究人员形式化了字节对编码（BPE），这是一种常用于大型语言模型（LLM）的分词方法，以理解文本前缀如何改变分词。他们开发了一种使用“半径证书”的方法，可以有效地确定对于任何给定词典，这种改变是无限的还是有限的。分析表明，像GPT-2、cl100k、o200k和Llama 3这样的模型在其初始合并阶段就具有无限的起源半径，这表明前缀文本可能导致显著的分词变化。