Haiyuan Li

多智能体AI框架优化移动边缘网络中的LLM推理

一篇新的研究论文提出了一种多智能体AI框架，旨在优化移动边缘网络中大语言模型（LLMs）的推理。该框架通过采用一个长期的全局规划智能体、一个短期的提示调度智能体以及节点上的LM部署智能体来降低延迟并提高公平性。这些智能体利用运行时数据的自然语言推理来管理提示路由和模型部署。在城市范围的测试平台上进行的实验表明，平均端到端延迟显著降低，比基线提高了80.6%，同时保持了高Jain指数的公平性。