一篇新的研究论文解决了大型语言模型（如 Llama 3 和 Qwen3）因其分词方法而在处理尼泊尔语文本时效率低下的问题。标准的预分词器主要使用 Unicode 字母，会将尼泊尔语单词在元音符号处分割，导致尼泊尔语使用的分词数量远超英语。该论文提出了一种修改后的预分词器正则表达式，可以在保留英语分词的同时改进尼泊尔语分词，将尼泊尔语的分词数量减少到接近英语的水平。这种修复方法结合词汇扩展，在持续预训练中显示出潜力，尽管其对生成延迟和质量的影响仍需进一步测试。 AI
影响 提高了处理尼泊尔语文本的大型语言模型的效率和潜在质量，增强了多语言能力。
排序理由 研究论文，详细介绍了对特定语言的大型语言模型分词技术的改进。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
