Zouhar et al.

新论文分析了字节对编码的理论极限

一篇新论文对字节对编码（BPE）进行了理论分析。BPE 是一种广泛用于自然语言处理任务（如大型语言模型预训练）的子词分词方法。研究表明，BPE 底层的优化问题是 APX-完全的，这表明找到最优压缩效用在计算上是困难的。然而，该论文还证明了 BPE 在最优对编码方面提供了介于 1/3 和约 0.4324 之间的最坏情况近似因子，为其实际压缩效用提供了第一个严格的保证。