Binary Tokenization

二元分词问题被证明计算困难，开发了新的近似算法

研究人员已经确定了二元分词问题的计算难度，证明除非 P=NP，否则不存在能达到 $n^{1-\varepsilon}$（对于任何 $\varepsilon > 0$）近似因子的多项式时间近似算法。为了解决这个问题，他们开发了一种 $(\gamma, \gamma)$-双标准近似算法，其中 $\gamma = \sqrt{M}\log n$，该算法输出的词汇表大小最多为 $\gamma K$，并且对于预算 $K$ 使用的标记数量最多为最…