PulseAugur
中
实时 10:09:52
实体 UTF-16

UTF-16

PulseAugur coverage of UTF-16 — every cluster mentioning UTF-16 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_303454 ·

    新的UBE编码改进了LLM中的多语言边界预测

    一篇新研究论文提出,通用字节级编码(UBE)可作为UTF-8的替代方案,用于字节级语言模型中的多语言边界预测。UBE通过对某些码点使用两个UTF-16字节(低字节在前)来修改UTF-8。这一改变通过在第一个字节中提供更多区分信息,显著减少了多种语言(尤其是在韩语和中文中)的字形边界错误。研究表明,与UTF-8相比,UBE为边界预测器所需的超前查看更少,可能提高这些模型的效率。

  2. TOOL · CL_290569 ·

    Karasu language v2.0 通过焦点画布和 SVG 优化增强了图表绘制功能

    Karasu,一种用于系统架构的文本建模语言,已发布其 .krs 语言的 2.0 版本。此次更新引入了封闭词汇表,使标签和注释特定于工具,以防止含义漂移。它还通过用于密集图表的焦点画布和改进的键盘导航来提高图表的可读性。此外,Karasu 通过减少 97% 的元素优化了 SVG 输出,并修复了 Unicode 字符处理问题。

  3. TOOL · CL_277344 ·

    新的通用字节级编码提升了多语言文本的 LLM 效率

    研究人员开发了一种通用字节级编码 (UBE),以提高多语言大型语言模型的效率。UBE 解决了某些脚本在标准字节对编码 (BBPE) 分词器中产生更高 token 成本的问题,从而导致费用增加和上下文窗口减小。通过将特定脚本的字符通过 UTF-16 进行路由,UBE 在不负面影响英语文本效率的情况下,降低了高溢价脚本的分词成本。该方法保持了精确解码,并已被验证可以往返所有 Unicode 标量值并通过各种 Unicode 测试套件。