FineMath

Data Scout 方法改进了 AI 预训练语料库的创建

研究人员开发了一种名为 Data Scout 的新方法，用于创建专门的 AI 模型预训练语料库。与过滤大型网络存档的传统方法不同，Data Scout 基于 LLM 生成的分类法和搜索查询进行定向爬取。该方法使用用户提供的分类器来筛选子域，显著提高了收集数据的效率和质量。例如，使用数学分类器，Data Scout 在相关内容方面的比率比过滤 Common Crawl 高出 70 倍，而且重要的是，这些高质量数据中有很大一部分不存在于现有存档中。