PulseAugur
中
实时 10:09:48
实体 Universal Byte-Level Encoding

Universal Byte-Level Encoding

PulseAugur coverage of Universal Byte-Level Encoding — every cluster mentioning Universal Byte-Level Encoding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_303454 ·

    新的UBE编码改进了LLM中的多语言边界预测

    一篇新研究论文提出,通用字节级编码(UBE)可作为UTF-8的替代方案,用于字节级语言模型中的多语言边界预测。UBE通过对某些码点使用两个UTF-16字节(低字节在前)来修改UTF-8。这一改变通过在第一个字节中提供更多区分信息,显著减少了多种语言(尤其是在韩语和中文中)的字形边界错误。研究表明,与UTF-8相比,UBE为边界预测器所需的超前查看更少,可能提高这些模型的效率。

  2. TOOL · CL_277344 ·

    新的通用字节级编码提升了多语言文本的 LLM 效率

    研究人员开发了一种通用字节级编码 (UBE),以提高多语言大型语言模型的效率。UBE 解决了某些脚本在标准字节对编码 (BBPE) 分词器中产生更高 token 成本的问题,从而导致费用增加和上下文窗口减小。通过将特定脚本的字符通过 UTF-16 进行路由,UBE 在不负面影响英语文本效率的情况下,降低了高溢价脚本的分词成本。该方法保持了精确解码,并已被验证可以往返所有 Unicode 标量值并通过各种 Unicode 测试套件。