实体
Parity-aware BPE
Parity-aware BPE
PulseAugur coverage of Parity-aware BPE — every cluster mentioning Parity-aware BPE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的Latent Core Tokenizer优先考虑语言结构而非压缩
研究人员推出了一种新的、与语言无关的标记器创建方法——Latent Core Tokenizer (LCT),该方法优先考虑有意义的语言单元发现而非简单的压缩。与传统的字节对编码 (BPE) 和 Unigram 等方法不同,LCT 在词汇表构建之前采用最小描述长度和形态句法约束来识别可重用单元。在对 104 种语言的评估中,LCT 在生育率和 MorphScore 方面优于现有方法,同时在跨语言差异方面也表现相当。此外,LCT 在多语…
-
新的分词方法提升了NLP的跨语言公平性
研究人员开发了一种名为Parity-Aware Byte-Pair Encoding (BPE) 的新分词算法,以解决自然语言处理中的跨语言公平性问题。传统的BPE方法偏向于主导语言,导致低资源语言的分词更长或效果不佳。新的Parity-aware BPE算法修改了合并步骤,优先压缩压缩效果最差的语言,显著减少了分词不平等。该方法在减少分词不平等方面显示出高达89%的相对改进,对整体压缩率影响很小,且对下游语言模型的性能没有损害。