一篇新的研究论文对四种流行框架——PyTorch、ONNX Runtime、OpenVINO 和 TensorRT——在工业机器视觉边缘设备上的深度学习推理性能进行了基准测试。研究发现,OpenVINO 在 CPU 上提供了最快的推理时间,而 TensorRT 在 GPU 上效率最高。然而,在评估基于 Transformer 的视觉模型时,TensorRT 的性能并未优于 PyTorch。 AI
影响 为工业应用的边缘设备上的深度学习模型性能优化提供了见解。
排序理由 在 arXiv 上发表的研究论文,详细介绍了推理框架的基准测试。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →