DataComp-LM

Web graph structure guides language model pretraining data selection

研究人员开发了一种名为 WebGraphMix 的新方法，用于选择语言模型的预训练数据。该方法利用了网页图的结构来识别中心和外围文档，并假设中心主机提供可重用的抽象，而外围主机提供专业知识。实验表明，中心和外围数据的 1:1 混合在 23 项任务上的平均性能有所提高，优于均匀采样，并且在与文档级质量分类器结合使用时能进一步提升结果。