English(EN) Removable and Irreducible: A Token-Cost Ledger for the Multilingual Tokenization Tax

新研究量化多语言分词税，发现其在很大程度上可移除

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-02 04:00

一篇新研究论文提出了一种“代币成本账本”，用于量化大型语言模型处理非英语文本所产生的额外成本。该研究分析了 FLORES-200 数据集上的八种语言，发现与英语相比，印度语言脚本的分词税成本最高可增加 8.9 倍。研究表明，这种税收的很大一部分是由于表示效率低下，而非内在信息差异，通过改进代码可以消除高达 64% 的多余代币使用量。 AI

影响量化了大型语言模型处理非英语文本的显著但很大程度上可移除的成本惩罚，可能指导未来的分词器开发。

排序理由一篇在 arXiv 上发表的研究论文，详细介绍了一种分析大型语言模型代币成本的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 31 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 一篇在 arXiv 上发表的研究论文，详细介绍了一种分析大型语言模型代币成本的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Madhulatha Mandarapu, Sandeep Kunkunuru · 2026-09-02 04:00

可移除且不可约：多语言分词税的代币成本账本

arXiv:2609.00378v1 Announce Type: new Abstract: Large language models pay a well-documented tax on non-English text: the same content costs several times more tokens, and because attention is quadratic in sequence length, far more compute. We ask how much of this tax is removable…

本文如何被排名

报道来源 [1]

可移除且不可约：多语言分词税的代币成本账本

相关实体

相关话题