实体
BrahmicTokenizer-131K
BrahmicTokenizer-131K
PulseAugur coverage of BrahmicTokenizer-131K — every cluster mentioning BrahmicTokenizer-131K across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
泰米尔语模型获得形态感知增强，翻译能力提升
研究人员为泰米尔语模型开发了一种新颖的形态感知系统，增强了翻译能力。该系统集成了ThamizhiMorph分析器和生成器，以及一个字节精确语义分词器和一个学习到的分层词组合器。该方法将词语分解为词元和语法特征，通过字符和字节回退保留精确重构。评估表明，这种基于形态的分词比现有的基线（如AI4Bharat IndicBERTv2）提高了翻译质量，并显著减少了序列长度和估计的推理成本。
-
新的BrahmicTokenizer-131K提高了印度语言分词效率
研究人员开发了BrahmicTokenizer-131K，这是一种旨在提高印度语言效率的新分词器，同时保持在英语和代码上的性能。与Mistral-Nemo Tekken/Sarvam-m等现有模型相比，该分词器在印度语言预训练文本上的分词数量减少了26.7%，在奥里亚语等语言上取得了显著的进步。BrahmicTokenizer-131K是OpenAI的o200k_base的即插即用替代品，在英语分词能力上具有竞争力，并在编码和数学基准…