DeepSeek-V3 671B-A37B

混合专家模型：LLM 路由器如何选择和激活稀疏网络

大型语言模型中的混合专家（MoE）架构，以 Mixtral 8x7B 和 Nemotron 3 Ultra 550B-A55B 等模型为例，用多个较小的专家网络取代了密集的前馈网络（FFN）层。当处理一个 token 时，路由器层会确定哪些专家最相关，通常会选择前两个。这种稀疏激活显著降低了每个 token 的计算成本，因为只有选定的专家执行计算，而总参数量可以高得多。尽管由于需要存储所有专家，VRAM 需求保持不变，但每个 toke…