一位机器学习从业者在对需要一整天才能训练的大模型进行超参数优化 (HPO) 时面临挑战。为了使 HPO 可行，他们正在减少训练周期数，这引发了对参数漂移和全训练运行次优优化的担忧。用户还在质疑剪枝方法的有效性，怀疑它们可能有利于更快的收敛而不是实现更高的准确性。 AI
排序理由 这是论坛上关于技术挑战的用户提问，不是新闻事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
ML工程师应对长训练运行中的超参数优化漂移问题
报道来源 [1]
-
HPO - 超参数漂移 [D]
<!-- SC_OFF --><div class="md"><p>Hey all, so I am running into a problem. I am training massive ML models which take literally a day to fully train. </p> <p>We want to run HPO to make it so that we can get the best parameters for the model and we require very high accuracy for t…