Fine PT-PT Web

新流程为LLM精心策划了包含410亿token的欧洲葡萄牙语网页语料库

研究人员开发了一个新的流程，用于精心策划专门针对欧洲葡萄牙语（PT-PT）的高质量网页语料库。该流程解决了巴西葡萄牙语的方言重叠和数据处理规模等挑战。它高效地处理了411 TB的原始数据，并包含了一个新颖的抓取后区块，通过防止过早丢弃有效文本，将文档产出率提高了19.04%。该框架包括严格的语言识别、加权模糊去重和神经质量分类，最终形成了一个干净且具有代表性的语料库，适用于LLM的预训练。