PulseAugur
中
实时 21:39:36
English(EN) DPU or GPU for Accelerating Neural Networks Inference -- Why not both? Split CNN Inference

研究人员结合 DPU 和 GPU 以加速神经网络推理

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种新颖的方法，通过在深度学习处理单元 (DPU) 和图形处理单元 (GPU) 之间拆分卷积神经网络 (CNN) 计算来加速神经网络推理。这种“拆分 CNN 推理”方法在数据源附近的 DPU 上处理初始层，在 GPU 上处理后续层，从而显著降低延迟。还引入了一个图神经网络 (GNN) 模型，以准确预测各种 CNN 架构的最佳层划分，准确率达到 96.27%。 AI

影响 通过优化 CNN 推理的硬件利用率，有可能降低边缘 AI 应用的延迟。

排序理由 学术论文，提出了一种加速神经网络推理的新方法。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究人员结合 DPU 和 GPU 以加速神经网络推理

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Ali Emre Oztas, Mahir Demir, James Garside, Mikel Luj'an ·

    DPU 或 GPU 加速神经网络推理 -- 何不两者兼顾？拆分卷积神经网络推理

    arXiv:2605.00174v1 Announce Type: cross Abstract: Video and image streaming on edge devices requires low latency. To address this, Neural Networks (NNs) are widely used, and prior work mainly focuses on accelerating them with single hardware units such as Graphics Processing Unit…

  2. arXiv cs.CV TIER_1 English(EN) · Mikel Luj'an ·

    DPU 还是 GPU 加速神经网络推理——为什么不两者兼顾？拆分 CNN 推理

    Video and image streaming on edge devices requires low latency. To address this, Neural Networks (NNs) are widely used, and prior work mainly focuses on accelerating them with single hardware units such as Graphics Processing Units (GPUs), Field Programmable Gate Arrays (FPGAs), …

相关实体

相关话题