35BA3B

MoE模型在消费级硬件上展现出惊人的速度

r/LocalLLaMA上的一位用户发现，与Qwen 3.6 27B等标准模型相比，混合专家（MoE）模型（特别是35BA3B变体）在消费级硬件上提供了明显更快的性能。尽管拥有充足的GPU VRAM，但用户发现将专家层卸载到RAM可以大幅提高速度，使其在迭代任务中更有效率。这一发现表明，对于寻求更好性能且VRAM有限的用户来说，MoE模型可能是一个可行的选择。