Lema

新的 LeMA 框架支持大型深度学习模型的可扩展 Levenberg-Marquardt 训练

研究人员开发了 LeMA，一个深度学习模型的分布式训练框架，使得 Levenberg-Marquardt (LMA) 算法能够应用于大规模神经网络。LeMA 通过采用精确对偶公式消除了对参数维度的内存依赖，并采用雅可比分片策略进行并行计算，从而解决了 LMA 带来的高昂内存和计算成本问题。这种方法允许对拥有数十亿参数的模型进行精确的 LMA 步进，在多 GPU 平台上实现了显著的加速和高扩展效率。