研究人员开发了一个名为Spokes的新概率多样化框架，该框架可优化预训练数据选择的多样性。该方法利用G-Vendi分数和指数梯度下降来创建比随机抽样多样性显著更高的数据子集，G-Vendi分数提高了489%。当应用于FineWeb和DCLM等数据集时，Spokes在下游性能上平均比随机抽样提高了0.4至0.5个百分点。通过Spokes联合优化质量和多样性可获得最佳结果，比基线提高了1.4至1.5个百分点。 AI
影响 通过提高预训练数据的多样性和质量来增强AI模型性能。
排序理由 该集群描述了一篇发表在arXiv上的新研究论文，其中详细介绍了一种优化预训练数据选择的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →