研究人员开发了CARB，一个旨在精确预测资源受限GPU平台上卷积神经网络（CNN）推理成本的新框架。通过对RTX 5090和RTX 3080 GPU上超过13,000种CNN配置的详细特征化分析，该研究揭示了能源、延迟和内存使用方面独特的缩放行为。CARB利用这些发现，以高精度（R2 ~0.99）联合预测这些成本，并实施了一个筛选工作流程，能够快速将大型设计空间缩小到优先列表。 AI
影响 通过精确预测能源、延迟和内存成本，实现了CNN在边缘设备上更高效的部署。
排序理由 该集群描述了一篇研究论文，详细介绍了一个用于预测GPU上CNN推理成本的新框架。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.10506v1 Announce Type: cross Abstract: Accurate pre-deployment estimation of CNN inference cost--energy, latency, and peak memory--is increasingly critical as models are deployed on resource-constrained GPU platforms. Existing approaches rely on FLOPs, latency measurem…
Accurate pre-deployment estimation of CNN inference cost--energy, latency, and peak memory--is increasingly critical as models are deployed on resource-constrained GPU platforms. Existing approaches rely on FLOPs, latency measurements, or single-device profiling as energy proxies…