Thai LLMs

泰国研究人员使用 Dolma 工具包为 LLM 创建 Mangosteen 数据集

一个泰国研究团队开发了一个名为 Mangosteen 的新数据集，包含 470 亿 token，专门用于训练泰国大型语言模型 (LLM)。他们利用了最初由艾伦人工智能研究所开发的 Dolma 数据整理工具包，对现有的网络数据集进行过滤。这一过程产生了一个更专注的语料库，即使与更广泛的数据集相比数据量有所减少，也能提高泰国 LLM 的性能。