Pile dataset

RegMix-D 通过动态数据混合推进 LLM 预训练

研究人员推出了 RegMix-D，这是 RegMix 方法在大型语言模型预训练中选择数据混合方面的一项改进。RegMix-D 利用代理运行的完整损失轨迹，而不是仅仅依赖端点损失，来在整个训练过程中动态调整数据混合。这种方法可以离线或在线运行，在 13 项下游任务中，即使代理计算预算显著减少，也显示出比 RegMix 和 DoReMi 等现有方法持续的改进。