研究人员开发了一种新的基于梯度的优化方法，用于在深度模型预训练期间高效地调整复合损失函数的权重。该方法通过将预训练梯度与下游目标对齐来在线学习最优损失权重，显著降低了超参数调整的计算成本。该方法在事件序列建模和计算机视觉任务上进行了评估，其性能与传统调优方法相当或更优，同时计算量仅比单次训练运行增加约30%。 AI
影响 引入了一种更有效的深度学习预训练超参数调整方法，有望降低计算成本并加速模型开发。
排序理由 该集群包含一篇详细介绍深度学习预训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Modern deep models are often pretrained on large-scale data with missing labels using composite objectives, where the relative weights of multiple loss terms act as hyperparameters. Tuning these weights with random search or Bayesian optimization is computationally expensive, as …