FastInst

边缘GPU AI性能瓶颈在于内存带宽而非FLOPs

一篇新的研究论文强调，基于查询的分割解码器在边缘GPU上的性能主要受内存带宽限制，而非计算能力（FLOPs）。该研究剖析了FastInst和Mask2Former等模型，发现这些解码器将大量时间和内存用于跨内核激活流量，从而有效地使内存总线饱和。为解决此问题，开发了一种名为CompactInst的新方法，该方法通过无参数空间池化减少数据移动，从而在NVIDIA Jetson Orin Nano等设备上实现显著的加速，同时保持了具有竞争力的准确性。