PulseAugur
中
实时 08:51:42
实体 Latent Core Tokenizer

Latent Core Tokenizer

PulseAugur coverage of Latent Core Tokenizer — every cluster mentioning Latent Core Tokenizer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_289493 ·

    新的Latent Core Tokenizer优先考虑语言结构而非压缩

    研究人员推出了一种新的、与语言无关的标记器创建方法——Latent Core Tokenizer (LCT)，该方法优先考虑有意义的语言单元发现而非简单的压缩。与传统的字节对编码 (BPE) 和 Unigram 等方法不同，LCT 在词汇表构建之前采用最小描述长度和形态句法约束来识别可重用单元。在对 104 种语言的评估中，LCT 在生育率和 MorphScore 方面优于现有方法，同时在跨语言差异方面也表现相当。此外，LCT 在多语…