PulseAugur
中
实时 14:30:37
English(EN) The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages

由于以英语为中心的训练，印度语言在大型语言模型中面临 8 倍的“分词器税”

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新的研究论文强调了印度语言在通过大型语言模型处理时面临的重大劣势，这是由于子词分词造成的。这些主要在英语数据上训练的分词器，导致印度语言平均面临 8.0 倍的“分词器税”，极大地缩减了其有效上下文窗口。研究确定字节对合并失败是主要原因，但也表明多语言分词器可以显著降低这种税负，表明该问题可以通过更好的分词器设计来解决。 AI

影响 强调了一个影响非英语语言在大型语言模型中可访问性和性能的关键基础设施问题，可能推动更公平的分词策略的开发。

排序理由 在 arXiv 上发表的研究论文，详细介绍了大型语言模型分词器的技术问题。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

由于以英语为中心的训练，印度语言在大型语言模型中面临 8 倍的“分词器税”

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Priyansh Srivastava ·

    分词器税：量化和解释子词分词对印度语言的跨语言成本

    arXiv:2607.24276v1 Announce Type: cross Abstract: Large language models (LLMs) process text through subword tokenizers rather than directly reading characters or words. Because these tokenizers are trained predominantly on English-centric corpora, they introduce a systematic and …

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    分词器税：量化和解释子词分词对印度语言的跨语言成本

    Large language models (LLMs) process text through subword tokenizers rather than directly reading characters or words. Because these tokenizers are trained predominantly on English-centric corpora, they introduce a systematic and often overlooked disadvantage for many non-English…

相关实体

相关话题