Mixed-Precision Quantization

MiCoPro框架赋能边缘AI高效混合精度量化

研究人员推出MiCoPro，一个用于边缘AI应用混合精度量化（MPQ）端到端协同设计的新型框架。该框架通过采用一种优化算法，在严格的延迟约束下寻找精度最优的量化配置，从而解决了现有方法的局限性。MiCoPro利用硬件感知代理（HAP）模型来提高预测精度和硬件通用性，能够从PyTorch模型快速探索并直接部署到C代码。在BitFusion加速器和RISC-V处理器上的演示表明，在精度损失极小的情况下，延迟最多可降低40%。