MiCoPro框架赋能边缘AI高效混合精度量化

研究人员推出MiCoPro，一个用于边缘AI应用混合精度量化（MPQ）端到端协同设计的新型框架。该框架通过采用一种优化算法，在严格的延迟约束下寻找精度最优的量化配置，从而解决了现有方法的局限性。MiCoPro利用硬件感知代理（HAP）模型来提高预测精度和硬件通用性，能够从PyTorch模型快速探索并直接部署到C代码。在BitFusion加速器和RISC-V处理器上的演示表明，在精度损失极小的情况下，延迟最多可降低40%。 AI

影响 该框架有望加速资源受限的边缘设备上高效AI模型的部署。

排序理由 该集群包含一篇学术论文，详细介绍了一种用于优化AI模型的新框架和方法论。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• BitFusion
• Hardware-Aware Proxy
• MiCo
• MiCoPro
• Mixed-Precision Quantization
• PyTorch
• Quantized Neural Networks
• RISC-V

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →