一位用户分享了他们在一个配备Intel 285HX CPU和64GB内存的新迷你PC上设置大型语言模型的初步经验，目标是实现CPU独享运行。他们使用Llama.cpp测试了Qwen3、Qwen3.6和Gemma4模型，并比较了Vulkan、SYCL和CPU独享后端之间的性能。与预期相反，CPU独享设置产生了最快的令牌生成速度，其中Qwen模型被证明特别可用。 AI
影响 提供了在本地运行大语言模型的最佳硬件和软件配置的见解。
排序理由 用户在特定硬件上测试大语言模型性能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I got a new mini-pc for a homelab server recently and thought I'd tinker around with some LLM options on there. As it doesn't have a dedicated GPU it was a bit different to what I do on my main PC.</p> <p>Wasn't really sure where to start, but I …