研究人员开发了 LEDGE,这是一种新颖的模拟器,旨在高效评估异构边缘设备上的分布式大型语言模型 (LLM) 服务。该模拟器构建事件图以支持各种并行策略,并使用可重用的性能模型在不执行张量运算的情况下准确预测执行时间。LEDGE 在混合 Jetson 和 Raspberry Pi 设备上进行了测试,与物理推理相比,平均绝对百分比误差较低,并且速度显著提高,从而能够更快地探索部署策略。 AI
影响 能够更快、更经济高效地探索 LLM 在边缘设备上的部署策略。
排序理由 该集群包含一篇详细介绍 LLM 服务新模拟器的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →