实体 sentencepiece

sentencepiece

PulseAugur coverage of sentencepiece — every cluster mentioning sentencepiece across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_45717 · May 23 · 10:55

LLM 分词器惩罚随机字符删除，增加成本

一位 AI 系统管理员发现，为了节省 token 成本而从 LLM prompt 中随机删除字符实际上会增加 token 数量。这是因为像字节对编码 (BPE) 和 SentencePiece 这样的分词器是在干净文本上训练的，并且难以处理损坏的输入。当删除字符时，分词器会回退到对更小的片段进行编码，通常是在字节级别，导致 token 数量比原始文本更多。一项实验表明，删除 25% 的字符会导致 prompt token 数量增加 2…