CGIAR CGSpace

新的100亿token语料库助力非洲学术界在LLM训练中的发展

研究人员推出了Africa-Papers，一个包含101.5亿token的新语料库，旨在解决非洲学术研究在大型语言模型训练数据中代表性不足的问题。这个多领域数据集包含超过844,000篇全文论文，旨在提高基础模型在与非洲相关的主题（如热带流行病和农业实践）上的表现。该语料库被处理成干净的Markdown格式，保留了方程式和表格等结构元素，并在Hugging Face Hub上的AfriSpeech组织下公开提供，以促进进一步的研究和开发。