ResNet152

研究人员结合 DPU 和 GPU 以加速神经网络推理

研究人员开发了一种新颖的方法，通过在深度学习处理单元 (DPU) 和图形处理单元 (GPU) 之间拆分卷积神经网络 (CNN) 计算来加速神经网络推理。这种“拆分 CNN 推理”方法在数据源附近的 DPU 上处理初始层，在 GPU 上处理后续层，从而显著降低延迟。还引入了一个图神经网络 (GNN) 模型，以准确预测各种 CNN 架构的最佳层划分，准确率达到 96.27%。