Matt Wiemann

新的元学习方法优化AI模型训练计划

研究人员开发了一种新颖的元学习方法，将优化过程视为一个动力学系统来生成最优学习率计划。该方法利用超参数搜索的训练运行来学习训练动力学的潜在表示，使其能够预测产生最佳长期验证性能的未来学习率计划。所提出的调度器展示了超越观察到的训练动力学的泛化能力，创建了在各种图像分类和下一个词预测任务中优于标准参数函数和基线的专用计划。使用此方法训练的模型由于位于损失景观的更平坦区域而表现出更好的泛化能力。