Budget-Adaptive Routing

新的路由系统优化边缘和云之间的AI推理

研究人员开发了一种新颖的“预算自适应路由”系统，旨在优化边缘和云端计算资源之间的推理协作。该系统智能地决定是否将任务从较弱的边缘模型卸载到较强的云模型，通过直接从原始像素中提取路由信号，其性能优于现有方法。这种自适应方法根据可用的卸载预算动态地在弱模型跳过和弱模型条件放置之间进行选择，显著降低了每帧的延迟，甚至在某些操作点上以更低的计算成本超越了强模型的性能。