在配备 24GB 内存的 Apple M2 机器上,对三款开源大模型——OpenAI 的 GPT OSS 20B、阿里巴巴的 Qwen3 14B 和 Mistral AI 的 Mistral-Small 24B——进行了比较。GPT OSS 20B 速度最快,比 Qwen3 14B 快三到四倍,并在 GSM8K 和 HumanEval+ 基准测试中取得了满分。然而,Qwen3 14B 在原始知识方面表现最佳,MMLU 得分为 82%,超过了 GPT OSS 20B 的 72%。Mistral-Small 24B 在 24GB 硬件上受到内存限制的困扰,在较大的基准测试中超时,并且在这种特定配置下被证明是不可靠的选择。 AI
影响 为消费者硬件上的开源大模型性能提供了实用见解,指导开发人员在资源受限环境下的模型选择。
排序理由 在特定硬件和基准测试上对开源大模型进行比较。 [lever_c_demoted from research: ic=1 ai=1.0]
- Alibaba Group
- Apple M2
- GPT OSS 20B
- GSM8K
- HumanEval+
- IFEval
- Massive Multitask Language Understanding
- Mistral AI
- Mistral-Small 24B
- Ollama
- OpenAI
- Qwen3 14B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →