arXiv上的两篇新研究论文探讨了在边缘设备上优化AI推理的方法。第一篇论文介绍了一种面向信道的AI算法,该算法通过根据信道条件调整计算复杂度来最大化推理吞吐量,并利用冯·米塞斯混合分布进行精度建模。第二篇论文提出了一种通用优化引擎(GOE)架构,该架构集成了各种硬件和模型无关的优化技术,以降低计算成本、内存占用、延迟和功耗,从而能够在不牺牲精度的前提下,在没有GPU的边缘CPU上运行语言模型。 AI
影响 这些研究进展可能显著提高在资源受限的边缘设备上部署AI模型的效率和可行性。
排序理由 arXiv上发表的两篇学术论文,详细介绍了优化边缘设备AI推理的新方法。
- A Generalized Optimization Engine (GOE)
- AI models
- alphaXiv
- arXiv
- CatalyzeX
- central processing unit
- DagsHub
- Edge artificial intelligence
- Gotit.pub
- graphics processing unit
- Hugging Face
- Language Models
- ScienceCast
- Jierui Zhang
- Mixture of von Mises
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →