PulseAugur
中
实时 11:07:04
实体 Adaptive Frequency Threshold Byte Pair Encoding

Adaptive Frequency Threshold Byte Pair Encoding

PulseAugur coverage of Adaptive Frequency Threshold Byte Pair Encoding — every cluster mentioning Adaptive Frequency Threshold Byte Pair Encoding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_321937 ·

    新的AdaBPE分词方法提高了AI模型对混合数据的处理能力

    研究人员开发了一种名为自适应频率阈值字节对编码(AdaBPE)的新分词方法,以改进语言模型处理混合自然语言和结构化符号数据语料库的方式。与传统上严格处理空格的字节对编码(BPE)不同,AdaBPE根据词元长度和类型动态调整频率阈值。这使得即使在训练数据中代表性不足的情况下,也能更好地将词汇容量分配给特定领域的符号,例如LaTeX。在五个数据集上的评估表明,AdaBPE在不影响通用语言性能的情况下,提高了在专业内容上的编码效率和下游语言模型的性能。