E2LLM

E2LLM框架优化边缘/雾环境中的LLM服务

研究人员开发了E2LLM，一个在资源受限的边缘和雾环境中高效部署大型语言模型（LLMs）的新框架。与假设单设备托管的传统方法不同，E2LLM将模型复制到设备组中并使用模型并行。它根据副本在输入/输出令牌上的效率，为副本分配专门的角色（PREFILL或DECODER），利用这些推理阶段之间的差异。该框架采用遗传算法进行设备聚类和动态规划进行最优分区，与Splitwise基线相比，在高需求下等待时间显著减少了50%以上。