实体
FastMix
FastMix
PulseAugur coverage of FastMix — every cluster mentioning FastMix across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
FastMix 通过梯度下降自动化 AI 数据混合优化
研究人员开发了 FastMix，一个自动化发现用于训练大型 AI 模型最佳数据混合物的新框架。与依赖启发式方法或广泛模拟的先前方法不同，FastMix 使用单个代理模型上的梯度下降联合优化混合系数和模型参数。这种方法将数据混合选择重新表述为双层优化问题，从而能够对混合比例和模型参数进行高效的、基于梯度的优化。实验表明，FastMix 的性能优于现有方法，同时显著降低了寻找最佳数据组合的计算成本。
-
FastMix 自动化大型模型的数据混合优化
研究人员开发了 FastMix，一个新颖的框架，可以自动化训练大型模型的最佳数据混合的发现。通过将数据混合选择重新表述为双层优化问题，FastMix 通过梯度下降联合优化混合系数和模型参数。与现有方法相比，这种方法显著降低了计算成本和搜索时间，在预训练和后训练场景中均优于基线。