CuraWeb

新的CuraWeb语料库通过优化数据策展提升LLM性能

研究人员开发了CuraWeb，一个包含2万亿token的新的英文语料库，旨在改进大型语言模型的预训练数据。与以往只关注单一优化目标的旧方法不同，CuraWeb采用了一种新颖的框架，能够联合优化数据的质量、冗余度和多样性。该方法利用双轨清理和混合去重技术，并通过多目标采样器进行平衡。实验表明，将CuraWeb应用于Common Crawl数据，其性能显著优于现有数据集，在各种基准测试中平均性能提升了1.8%，尤其是在知识密集型和推理任务方面。