VKUE

稀疏 35B MoE 模型通过利用激活参数在 CPU 上运行

一个拥有 347 亿参数的混合专家（MoE）模型 Ourbox-35B-JGOS，已展示出在 CPU 上高效运行的能力，这通常是规模小得多的模型才能实现的壮举。这种效率归功于其稀疏架构，其中每个 token 仅激活模型参数的一小部分，与密集模型相比，显著降低了内存带宽需求。该模型在 GPQA Diamond 等基准测试中取得了令人印象深刻的性能，并且其权重和性能指标均公开可用，可供复现。