一篇新的研究论文探讨了诸如字节对编码（BPE）之类的分词算法的计算复杂性。该研究证明，除非 P=NP，否则没有高效的算法可以在 $c n / ext{log } n$ 的因子内近似二元字符串上 BPE 的最优合并次数。对于可以跳过出现的合并，一个简单的算法可以达到 $O(n / ext{log log } n)$，而对于一元数据集，这两种分词问题都是强 NP 完全的。 AI
影响 理解分词的复杂性对于优化大型语言模型的效率至关重要。
排序理由 学术论文，详细介绍了关于分词算法的理论计算机科学研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
