一位用户成功在一台价格实惠的联想IdeaCentre迷你PC上运行了大型语言模型,该PC配备了Snapdragon X1-26-100处理器和32GB内存。尽管缺乏GPU加速,该系统仍取得了令人印象深刻的性能,使用基于CPU的推理和定制的ARM优化,以约30 token/秒的速度运行了一个35B参数的编码模型,并以17-18 token/秒的速度运行了一个80B模型。用户探索了将模型专家缓存到RAM和从NVMe流式传输等技术,以克服内存限制,甚至尝试连接两台这样的PC来运行更大的模型。 AI
影响 展示了消费级硬件在本地运行大型语言模型方面日益增长的能力,可能降低了AI实验的门槛。
排序理由 用户级别的在消费级硬件上运行LLM的探索,并非前沿发布或重要的行业事件。
- Gemma 26B
- janas
- Lenovo IdeaCentre Mini
- llama.cpp
- Qualcomm Snapdragon
- Qwen3.6 35B A3B
- Qwen3-Next 80B A3B
- Snapdragon X1-26-100
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →