实体 BPE-16K

BPE-16K

PulseAugur coverage of BPE-16K — every cluster mentioning BPE-16K across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_38299 · May 18 · 11:28

发布新的索马里语语料库和研究工具

研究人员开发了SomaliWeb v1，这是一个包含约3.03亿个词元的新索马里语文本语料库。该数据集是通过一个可复现的六阶段流程创建的，从HPLT v2、CC100和索马里维基百科中过滤数据。此次发布还包括一个匹配的BPE-16K分词器以及首个索马里语语言识别公开基准，突出了现有数据集的质量问题。