研究人员评估了用于地球观测任务的自监督视觉Transformer编码器在商品x86硬件上的性能。研究发现,INT8量化对准确度的影响微乎其微,micro-mAP仅变化了+0.0006。这种量化显著降低了各种x86节点上的CPU延迟和能耗,在没有AVX2的CPU上延迟提高了高达1.45倍。随着CPU能力的提高,推理的最佳硬件从集成GPU转向CPU。 AI
影响 量化技术可以显著降低边缘设备上AI模型的推理成本,从而实现更广泛的部署。
排序理由 学术论文,详细介绍了自监督模型在硬件推理上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
- AVX2
- central processing unit
- Christian Sanchez-Leon
- graphics processing unit
- half-precision floating-point format
- Int8
- single-precision floating-point format
- Viện Khoa học An toàn và Vệ sinh lao động
- x86
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →