Byte Language Models

Byte Language Models Outperform Tokenized Models at Scale

一篇新论文介绍了“字节语言模型”，它们直接将文本作为字节处理，绕过了传统的标记器。虽然最初速度较慢，但这些字节级模型在采用特定技术（如 token-superposition 和 hash embeddings）进行训练时，表现出比子词标记模型更优越的性能和扩展能力。研究表明，更长字节序列带来的计算量增加可能是有益的，并且这些模型可以学会形成自己的文本抽象，甚至在某些下游任务上超越标记模型，并提供更有效的推测性解码。