研究人员推出了 RegMix-D，这是 RegMix 方法在大型语言模型预训练中选择数据混合方面的一项改进。RegMix-D 利用代理运行的完整损失轨迹，而不是仅仅依赖端点损失，来在整个训练过程中动态调整数据混合。这种方法可以离线或在线运行，在 13 项下游任务中，即使代理计算预算显著减少，也显示出比 RegMix 和 DoReMi 等现有方法持续的改进。 AI
影响 该方法可以通过优化数据混合选择，从而实现更高效、更有效的 LLM 训练。
排序理由 该集群描述了 arXiv 论文中提出的一种用于改进 LLM 预训练的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.18663v1 Announce Type: new Abstract: Data mixture selection is critical for Large Language Model pretraining. Existing methods such as RegMix select a single static mixture by fitting a regression model on small-scale proxy runs. We propose RegMix-D, a simple extension…
Data mixture selection is critical for Large Language Model pretraining. Existing methods such as RegMix select a single static mixture by fitting a regression model on small-scale proxy runs. We propose RegMix-D, a simple extension of RegMix to dynamic mixing. Our key observatio…