English(EN) 111, 133, 172: The Same 192 Characters in Three Tokenizers

大型语言模型分词器在文本分割上表现出显著差异

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-03 22:54

大型语言模型的分词器在文本分割方式上可能存在显著差异，导致相同输入产生不同的token数量。例如，一段192个字符的中文代码审查请求，在DeepSeek V4中被分词为111个token，在o200k_base中为133个，在cl100k_base中为172个，差异高达55%。这种差异受词汇量大小、预分词规则以及文本是散文还是代码等因素影响。虽然英文文本的差异较小，但非拉丁字符和代码可能导致更显著的token数量分歧。对于Claude和Gemini等模型，token数量通常是通过API端点提供的估算值，因为它们的分词器不公开供本地使用。 AI

影响理解分词器的差异对于LLM应用中准确的成本估算和提示工程至关重要。

排序理由该条目讨论了LLM分词器的技术细节及其在不同脚本和代码上的不同行为。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 38 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目讨论了LLM分词器的技术细节及其在不同脚本和代码上的不同行为。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · WGG · 2026-11-03 22:54

111、133、172：三种分词器中的相同192个字符

<p>I keep a bad habit: when a prompt looks short, I assume it is cheap. Then I pasted one Chinese code-review request into three tokenizers. Same 192 characters: 111 tokens in DeepSeek V4, 133 in <code>o200k_base</code>, 172 in <code>cl100k_base</code>. A 55% spread. The rule I h…

本文如何被排名

报道来源 [1]

111、133、172：三种分词器中的相同192个字符

相关实体

相关话题