English(EN) GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study

新的CUDA优化策略使神经网络训练速度提升1.41倍

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-29 16:02

本研究论文详细介绍了对浅层神经网络进行前向和后向传播的CUDA优化策略的比较研究。该研究评估了三种堆叠式优化：分块共享内存、用于合并内存访问的预转置权重矩阵以及融合的MatMul+ReLU核。在一个大型数据集上，与基线CUDA版本相比，完全优化的实现速度提升了1.41倍，显著缩短了执行时间。 AI

影响通过优化的GPU并行化显著加快神经网络训练速度，可能加速研究和开发。

排序理由详细介绍GPU上神经网络训练优化策略的研究论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Rania Zitouni, Nadine Bousdjira, Sarah Hasnaoui, Amel Sadoun, Fatma Salhi · 2026-06-30 04:00

浅层神经网络前向与后向传播的GPU并行化策略：一项基于CUDA的比较研究

arXiv:2606.30497v1 Announce Type: cross Abstract: We present a comparative study of CUDA optimization strategies applied to forward and backward propagation in a shallow neural network. Three stacked optimizations are evaluated: (1) tiled shared memory with bank-conflict eliminat…
arXiv cs.LG TIER_1 English(EN) · Fatma Salhi · 2026-06-29 16:02

浅层神经网络前向和后向传播的GPU并行化策略：一项基于CUDA的比较研究

We present a comparative study of CUDA optimization strategies applied to forward and backward propagation in a shallow neural network. Three stacked optimizations are evaluated: (1) tiled shared memory with bank-conflict elimination via +1-column padding, (2) pre-transposed weig…