本地大模型竞技场基准测试的第三轮在 16GB MacBook M4 上测试了五个模型。GPT-OSS-20B 成为综合最佳表现者，提供强大的推理能力以及在波兰语和德语翻译方面的良好表现，速度约为每秒 20 token。Qwen 27B 在波兰语任务和文档理解方面表现出色，但速度明显较慢，约为每秒 3 token。Mistral 24B 在所有测试中均获得满分，表现稳定，而 Gemma 12B 速度很快但经常生成空响应。Bonsai 27B 也获得了满分，但被认为是整体上表现最弱的模型。 AI
影响 提供了在消费级硬件上运行本地大模型的比较性能数据，帮助开发者选择模型。
排序理由 在消费级硬件上对多个本地大模型的基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
