Tokenization Equity Audit

分词溢价为非英语语言制造人工智能成本障碍 · arXiv cs.CL

一项发表在arXiv上的新研究介绍了分词公平性审计（TEA），这是一个旨在衡量大型语言模型对不同语言分词差异的基准。研究发现，与英语相比，孟加拉语、印地语和约鲁巴语等语言的语义等效内容可能需要更多的分词，这会影响API成本、延迟和有效上下文窗口长度。这种分词溢价因模型和分词器而异，凸显了依赖人工智能工具的服务欠缺语言社区可能面临的经济和功能障碍。