Luce Spark 是一个新开源系统，它使得大型 350 亿参数的专家混合（MoE）模型能在单个 16 GB GPU 上运行。它通过智能地仅将当前活跃的专家保留在 GPU 上，而其余专家则驻留在系统内存中并在需要时进行交换来实现这一点。这种方法避免了通常与卸载相关的性能损失，从而能够高效运行原本无法容纳的模型。 AI
影响 使得在消费级硬件上运行大型 MoE 模型成为可能，从而普及了对先进 AI 能力的访问。
排序理由 该集群描述了一个新的开源系统和方法论，用于在有限的硬件上运行大型 MoE 模型，这是高效 AI 部署领域的一项重要研究贡献。
- 16 GB GPU
- Laguna XS.2 33B-A3B
- Luce-Org/lucebox-hub
- Luce Spark
- Qwen3.6 35B-A3B
- RTX 3090
- Apache2.0
- GPU
- llama.cpp
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
