研究人员开发了一种新颖的学习型优化器，该优化器通过动态重组梯度历史来提高模型训练效率和性能。该优化器仅有 37,000 个参数，在不到一小时的 GPU 时间内取得了显著的改进。它在 BERT-Tiny 和 GPT-Tiny 上的验证损失分别降低了 9.1% 和 0.4%，在 Vision Transformer 上的表现比 Adam 高出 3.5 个百分点，在九个图模型上的平均表现高出 2.7 个百分点。 AI
影响 这项新的优化技术可能导致更快速、更高效的更小语言和视觉模型的训练，从而可能降低计算成本。
排序理由 该集群包含一篇详细介绍机器学习模型新优化方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
