研究人员开发了一种新颖的五步方法,用于在 NVIDIA Jetson DLA 核心上部署分类模型,克服了严格的算子约束和量化不兼容性带来的挑战。该方法通过允许在 GPU 上并行执行检测模型,在 DLA 上并行执行分类模型,从而在实时检测流水线中实现近乎零的开销。该方法已在双头人员属性分类器上得到验证,证明了在不增加额外成本的情况下显著提高了性能。 AI
影响 能够提高边缘设备上实时 AI 推理的效率,可能改善自动驾驶汽车和监控等应用中的性能。
排序理由 该集群包含一篇学术论文,详细介绍了在边缘硬件上部署 AI 模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Data Labelers Association
- graphics processing unit
- Int8
- Nvidia Jetson
- NVIDIA Jetson Orin NX 16GB
- ONNX
- tensorrt
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →