FaaSMoE

FaaSMoE 为多租户专家混合模型提供资源高效的无服务器服务。

研究人员开发了 FaaSMoE，一个专为多租户环境中服务专家混合（MoE）模型而设计的新型无服务器框架。该架构将单个专家部署为函数即服务（FaaS）平台上的无状态函数，支持按需调用和缩减至零的功能。使用 Qwen1.5-moe-2.7B 模型进行的评估表明，与传统的全模型服务基线相比，FaaSMoE 可将资源利用率降低三分之二以上。