AdaFisher

新的 CAFIN 框架提升了 GPU 上深度神经网络的训练速度

研究人员开发了 CAFIN，一个通过优化 GPU 上 Fisher 信息矩阵 (FIM) 的使用来显著加速深度神经网络训练的新框架。这种 GPU 原生 CUDA 内核融合方法将多个优化步骤集成到单个内核中，减少了内存分配并提高了执行效率。实验表明，CAFIN 可将 FIM 构建延迟降低高达 78.4%，优化器步骤延迟降低 2.1-26.9%，同时保持可比的收敛精度。