一篇新的研究论文提出了一种多智能体AI框架,旨在优化移动边缘网络中大语言模型(LLMs)的推理。该框架通过采用一个长期的全局规划智能体、一个短期的提示调度智能体以及节点上的LM部署智能体来降低延迟并提高公平性。这些智能体利用运行时数据的自然语言推理来管理提示路由和模型部署。在城市范围的测试平台上进行的实验表明,平均端到端延迟显著降低,比基线提高了80.6%,同时保持了高Jain指数的公平性。 AI
影响 该框架可以使边缘设备上的AI服务更高效、更具响应性,从而改善移动应用程序的用户体验。
排序理由 在arXiv上发表的研究论文,详细介绍了一个新的AI框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →