实体
Pruned BPE
Pruned BPE
PulseAugur coverage of Pruned BPE — every cluster mentioning Pruned BPE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的DH-BPE方法优化语言模型词汇表以实现更好的压缩
研究人员开发了一种名为动态规划引导分层BPE（DH-BPE）的新方法，用于优化语言模型的词汇表构建。该方法结合了标记暴露和BPE训练中的分层依赖关系，使用动态规划进行效用测量和剪枝，以选择固定大小的词汇表。DH-BPE在压缩方面持续优于标准BPE和其他基线，为在固定预算内优化词汇表分配提供了一种实用的方法。
-
Pruned BPE 通过优化可见词汇表来提高分词效率
研究人员推出了一种新颖的方法 Pruned BPE，用于增强子词分词的 Byte Pair Encoding (BPE)。与将所有学习到的合并标记暴露给下游模型的标准 BPE 不同，Pruned BPE 会识别并将低曝光标记指定为仅内部合并节点。此方法将其词汇槽重新分配给更常用的标记，从而实现更高效的可见词汇表。实验表明，在英语和中文语料库上，Pruned BPE 与 Standard BPE 相比，始终能缩短编码长度，在不影响语言模…