Eric Lopez-Lopez

工业机器视觉边缘推理框架基准测试 · 跟踪 2 个来源

一篇新的研究论文对四种流行框架——PyTorch、ONNX Runtime、OpenVINO 和 TensorRT——在工业机器视觉边缘设备上的深度学习推理性能进行了基准测试。研究发现，OpenVINO 在 CPU 上提供了最快的推理时间，而 TensorRT 在 GPU 上效率最高。然而，在评估基于 Transformer 的视觉模型时，TensorRT 的性能并未优于 PyTorch。