FastMix

FastMix 通过梯度下降自动化 AI 数据混合优化

研究人员开发了 FastMix，一个自动化发现用于训练大型 AI 模型最佳数据混合物的新框架。与依赖启发式方法或广泛模拟的先前方法不同，FastMix 使用单个代理模型上的梯度下降联合优化混合系数和模型参数。这种方法将数据混合选择重新表述为双层优化问题，从而能够对混合比例和模型参数进行高效的、基于梯度的优化。实验表明，FastMix 的性能优于现有方法，同时显著降低了寻找最佳数据组合的计算成本。