PulseAugur
中
实时 09:45:23
English(EN) Tokenization: Hardness and Bicriteria Approximation Algorithms

二元分词问题被证明计算困难,开发了新的近似算法

研究人员已经确定了二元分词问题的计算难度,证明除非 P=NP,否则不存在能达到 $n^{1-\varepsilon}$(对于任何 $\varepsilon > 0$)近似因子的多项式时间近似算法。为了解决这个问题,他们开发了一种 $(\gamma, \gamma)$-双标准近似算法,其中 $\gamma = \sqrt{M}\log n$,该算法输出的词汇表大小最多为 $\gamma K$,并且对于预算 $K$ 使用的标记数量最多为最优数量的 $\gamma$ 倍。此外,还为存储预算变体设计了一种双标准近似算法,对于预算 $B$ 实现了 $(O(\log n\log B), O(\log n\log B))$ 的近似。 AI

影响 这项研究通过确立硬度结果和开发近似算法,为许多 AI 模型的基本组成部分——分词——的理论理解做出了贡献。

排序理由 学术论文,详细介绍了近似算法的理论计算机科学研究。[lever_c_demoted from research: ic=1 ai=0.7]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

二元分词问题被证明计算困难,开发了新的近似算法

本文如何被排名

Signal score
11 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
学术论文,详细介绍了近似算法的理论计算机科学研究。[lever_c_demoted from research: ic=1 ai=0.7]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Atieh Bastan, Xiaoling He, A. Pavan, N. V. Vinodchandran ·

    Tokenization: Hardness and Bicriteria Approximation Algorithms

    arXiv:2611.15074v1 Announce Type: cross Abstract: We study Binary Tokenization: given a corpus of binary strings over $\{0,1\}$ and a vocabulary budget $K$, select at most $K$ substrings (called vocabulary) to minimize the total number of tokens needed to represent the corpus. Th…