研究人员开发了 LeMA,一个深度学习模型的分布式训练框架,使得 Levenberg-Marquardt (LMA) 算法能够应用于大规模神经网络。LeMA 通过采用精确对偶公式消除了对参数维度的内存依赖,并采用雅可比分片策略进行并行计算,从而解决了 LMA 带来的高昂内存和计算成本问题。这种方法允许对拥有数十亿参数的模型进行精确的 LMA 步进,在多 GPU 平台上实现了显著的加速和高扩展效率。 AI
影响 能够更有效地训练大型深度学习模型,可能加速人工智能领域的研究和开发。
排序理由 该集群包含一篇详细介绍深度学习训练新算法和框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →