专家混合（Mixture of Experts, MoE）模型提供了一种在标准硬件上运行非常大的语言模型的方法，它只为任何给定 token 激活模型的一部分参数。与处理每个 token 的所有权重的所有传统模型不同，MoE 模型使用路由器将 token 指向专门的“专家”。只有当前查询所需的专家才会保留在内存中，从而显著减少激活的参数数量。这种方法对于专注的工作负载特别有益，例如支持收件箱，其中重复的主题会使相同的专家保持“热”和常驻，从而能够在单台机器上高效运行。 AI
影响 使得在性能较低的硬件上运行大型语言模型成为可能，从而可能使访问民主化并支持本地部署。
排序理由 该条目解释了一个技术概念（专家混合模型）及其对运行 LLM 的影响，而不是宣布新模型或产品。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
