研究人员开发了自适应模型压缩 (AMC)，这是一个旨在使 Transformer 模型在资源受限的边缘设备上更高效的新框架。AMC 根据推理过程中不同数据 token 的重要性动态分配硬件资源。这种方法在特定硬件上将能耗降低了 59.2%，吞吐量提高了 2.24 倍，而准确率仅下降了 3.6%。 AI
影响 使更强大的 AI 模型能够在低功耗设备上高效运行，从而提高移动和边缘应用的性能和电池寿命。
排序理由 该集群包含一篇详细介绍新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- 45nm CMOS hardware
- Adaptive Model Compression (AMC)
- Edge devices and associated networks utilising microservices
- Mobile Devices
- Transformer Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
