一个拥有 347 亿参数的混合专家（MoE）模型 Ourbox-35B-JGOS，已展示出在 CPU 上高效运行的能力，这通常是规模小得多的模型才能实现的壮举。这种效率归功于其稀疏架构，其中每个 token 仅激活模型参数的一小部分，与密集模型相比，显著降低了内存带宽需求。该模型在 GPQA Diamond 等基准测试中取得了令人印象深刻的性能，并且其权重和性能指标均公开可用，可供复现。 AI
影响 证明了大型 MoE 模型可以部署在低资源硬件上，从而可能扩大先进 AI 能力的覆盖范围。
排序理由 该条目详细介绍了在消费级硬件上运行大型 MoE 模型的技术方法，包括基准测试结果和可复现的方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
