研究人员开发了 TrimMoE，一个旨在优化分布式边缘服务器上专家混合（MoE）大语言模型推理的新框架。该框架侧重于通过智能跳过层和实现基于置信度的提前退出来实现自适应深度，而不是仅仅加速专家传输。TrimMoE 在一个包含 10 台服务器的设置中进行了测试，使用了 Switch-Base-8E、Qwen-MoE-A2.7B 和 Mixtral-8x7B 等模型，证明了平均延迟显著降低（高达 62.8%），跨服务器流量减少，并在将任务质量下降控制在 2% 以内的同时保持了高吞吐量。 AI
影响 优化了分布式 LLM 推理，可能支持在大模型在边缘设备上更高效的部署。
排序理由 这是一篇详细介绍用于优化 LLM 推理的新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
