teh quick brown fox

大语言模型在字母计数方面遇到困难是因为分词，而非拼写错误

大型语言模型在诸如计算字母或押韵等任务中遇到困难，因为它们的输入是由分词器处理的，通常使用字节对编码（BPE），它将文本转换为整数标记ID。这个过程破坏了字符级信息，意味着模型操作的是不透明的序列而不是原始文本。虽然BPE将频繁的字符对合并为标记，但它优先考虑频率而非语言结构，导致常用词成为单个标记，而罕见词被分割。因此，需要字符级分析的任务，例如计算字母或倒序拼写，对大语言模型来说是困难的，因为它们无法直接访问这些信息，必须依赖于训…