Gale

GaLe技术赋能AI模型在嵌入式设备上的高效部署

研究人员开发了一种新颖的内存高效技术GaLe，旨在无需重新训练即可将预训练的神经网络部署到资源受限的嵌入式设备上。该方法将特征图划分为局部精确和全局近似组件，从而支持混合CNN-transformer模型中的全局操作和注意力机制。在ImageNet和Cortex-M33处理器上进行测试时，GaLe实现了高达65%的速度提升和90%的RAM减少，同时保持了与精确推理相当的性能。