实体 NTREX-128

NTREX-128

PulseAugur coverage of NTREX-128 — every cluster mentioning NTREX-128 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_273266 · Oct 1 · 04:00

LLM分词器对法语和地区语言征收“语言税”

一篇新论文揭示了当前大型语言模型中存在显著的“语言税”，即非英语语言（尤其是法语和地区语言）在处理相同内容时需要比英语消耗更多的代币。这种代币溢价在包括OpenAI的o200k和Anthropic的Claude generation-5在内的七种主要2026模型分词器中进行了衡量，法语的代币数量可能比英语多31%至58%，地区语言的溢价甚至更高。研究表明，通过优化分词器训练数据以包含这些语言，可以降低这种溢价，一个法语优化原型分词器已…