Inference on Demand (IoD)

新API将AI推理作为5G网络服务启用

研究人员开发了一种名为“按需推理”（Inference on Demand, IoD）的新抽象，通过类似CAMARA的API将拆分式AI推理作为网络服务公开。该系统在5G用户面带内传输感知拆分的张量上下文，使可编程的电信基础设施能够协调应用程序的计算、上下文和连接。在测试平台上的评估表明，自适应拆分选择可以作为面向网络的 خدمة运行，通过使服务意图、运行时分区和张量传输对移动数据平面可见，从而超越简单的卸载。