新的路由系统优化边缘和云之间的AI推理

研究人员开发了一种新颖的“预算自适应路由”系统，旨在优化边缘和云端计算资源之间的推理协作。该系统智能地决定是否将任务从较弱的边缘模型卸载到较强的云模型，通过直接从原始像素中提取路由信号，其性能优于现有方法。这种自适应方法根据可用的卸载预算动态地在弱模型跳过和弱模型条件放置之间进行选择，显著降低了每帧的延迟，甚至在某些操作点上以更低的计算成本超越了强模型的性能。 AI

影响 优化AI推理效率，可能降低边缘-云AI部署的成本和延迟。

排序理由 详细介绍AI推理优化新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXivLabs
• Budget-Adaptive Routing
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• PASCAL VOC
• ScienceCast

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →