Brahmic scripts

新的UBE编码改进了LLM中的多语言边界预测

一篇新研究论文提出，通用字节级编码（UBE）可作为UTF-8的替代方案，用于字节级语言模型中的多语言边界预测。UBE通过对某些码点使用两个UTF-16字节（低字节在前）来修改UTF-8。这一改变通过在第一个字节中提供更多区分信息，显著减少了多种语言（尤其是在韩语和中文中）的字形边界错误。研究表明，与UTF-8相比，UBE为边界预测器所需的超前查看更少，可能提高这些模型的效率。