研究人员开发了MANE,一个新颖的分布式推理框架,旨在提高深度神经网络边缘卸载的效率。该系统通过采用多路径尾部架构,在运行时动态调整精度-吞吐量权衡,解决了边缘服务器支持多个并发设备的挑战。MANE在为多达40个设备满足延迟服务水平目标(SLOs)方面表现出80%的成功率,优于现有方法,并保持比设备端替代方案更高的准确性。 AI
影响 提高了边缘AI推理的效率,使更多设备能够在不影响性能的情况下利用共享服务器资源。
排序理由 该集群包含一篇详细介绍深度神经网络推理新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →