Apple Machine Learning Research 发布了关于优化语言模型预训练数据混合的研究成果，特别是在处理有限目标数据的情况下。他们进行了超过 2000 次训练的广泛研究，发现将稀缺的目标数据重复 15-20 次比之前认为的更有效，尤其是在与丰富的通用数据结合时。该研究引入了一个新的缩放定律，该定律考虑了重复标记的价值递减和通用数据的正则化效应，为在约束条件下配置数据混合提供了一种原则性的方法。 AI
影响 为优化 LLM 预训练中的数据混合提供了一种原则性的方法，有可能提高效率和在专业任务上的性能。
排序理由 该集群包含一篇详细介绍机器学习新方法和发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Apple Machine Learning Research 阅读 →
- Anastasiia Sedova
- Apple Inc.
- Conference on Neural Information Processing Systems
- International Conference on Machine Learning
- Natalie Schluter
- Pierre Ablin
- Skyler Seto
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
