16 GB GPU

Luce Spark 支持在 16GB GPU 上运行 35B MoE 模型

Luce Spark 是一个新推出的开源系统，它允许大型混合专家（MoE）语言模型（特别是 33-350 亿参数的模型）在单个 16GB GPU 上运行。它通过智能地仅将当前活动的专家保留在 GPU 上，而其余专家则存储在系统 RAM 中并在需要时进行交换来实现这一点。这种方法避免了通常与卸载相关的性能损失，使得原本无法运行的大型模型能够高效运行。