G-Vendi score

Spokes框架将AI预训练数据多样性提升489%

研究人员开发了一个名为Spokes的新概率多样化框架，该框架可优化预训练数据选择的多样性。该方法利用G-Vendi分数和指数梯度下降来创建比随机抽样多样性显著更高的数据子集，G-Vendi分数提高了489%。当应用于FineWeb和DCLM等数据集时，Spokes在下游性能上平均比随机抽样提高了0.4至0.5个百分点。通过Spokes联合优化质量和多样性可获得最佳结果，比基线提高了1.4至1.5个百分点。