English(EN) MoE models around A2B

探索参数量为 2B 的 MoE 模型以适应资源受限系统

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-23 02:50

r/LocalLLaMA 上的讨论探讨了约 20 亿活跃参数的混合专家（MoE）模型这一细分领域。虽然拥有 10 亿活跃参数的较小 MoE 模型和拥有 30 亿或更多活跃参数的较大模型更为常见，但 20 亿活跃参数的范围似乎讨论较少。其中重点介绍了 LFM2 24B A2B、Mellum 2 12B A2.5B、Moondream 3.1 9B A2B、VAETKI 20B A2B、DeepSeek V2 Lite 16B A2.4B、Ring Mini/Ling Mini 以及各种 NVIDIA-Nemotron 微调模型。该帖子表明，这些模型可能适用于 CPU 使用或 GPU 内存有限（4-12GB）的系统，有可能在此尺寸下显著提高能力。 AI

影响这些模型为硬件有限的用户提供了一个潜在的理想选择，在性能和资源效率之间取得了平衡。

排序理由在社区论坛中讨论大型语言模型（LLM）开发的一个细分领域。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/WhoRoger · 2026-07-23 02:50

MoE 模型 A2B 周边

<div class="md"><p>There's a bunch of small MoE with around 1B active params, like LFM2.5 8B A1B and Granite 4.0h 7B A1B; and then there are models with 3B+ like Qwen 3.x ~30B A3B and Gemma 4 26B A4B, but those are already on the heavier side if you don't have enou…

报道来源 [1]

MoE 模型 A2B 周边

相关实体

相关话题