End-Of-Token

大规模研究表明，字节模型比Token模型展现出更高的性能上限

研究人员探讨了基于Token和基于字节的语言模型在性能上的差异，特别是在蒸馏的背景下。他们提出了两种方法，Marginalize-It和End-Of-Token，用于将Token logits转换为字节logits。他们的大规模研究发现，虽然在较低的计算水平下，Token模型最初的表现优于字节模型，但随着计算量的增加，字节模型最终会超越它们，达到更高的性能上限。蒸馏后的字节模型还表现出更高的能效和更低的存储成本。