研究人员开发了一种用于高维回归迁移学习的新方法,重点关注通过预训练模型可实现的性能改进。他们的工作为涉及预训练源模型和微调目标模型的两步程序的风险建立了确定性等价物。该研究确定了一种特定机制,在该机制中,该方法实现了 minimax-最优缩放定律,其中最优源正则化仅取决于源数据,表明其在不同目标任务中具有普遍性。实验结果支持了这些发现,包括在合成数据和语言模型上的实验,并且使用单遍随机梯度下降进行微调也可以实现最优速率。 AI
影响 这项研究可能导致在各种人工智能应用中更有效、更高效地使用预训练模型,尤其是在回归任务中。
排序理由 该集群包含一篇研究论文,详细介绍了一种用于回归迁移学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Hugging Face
- IArxiv
- L2
- stochastic gradient descent
- Tikhonov regularization
- transfer learning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →