一个拥有1800亿参数的混合专家模型(MoE),Darwin-180B-RSI,成功在一台拥有32GB内存的笔记本电脑上运行,仅使用CPU的情况下,实现了约每秒3个token的生成速度。更小的MoE模型POCKET-26B和POCKET-35B,能够完全载入内存,在相同硬件上运行速度显著更快,超过每秒11个token。对于较大的模型,主要的瓶颈被确定为固态硬盘(SSD)的读取速度,因为有限的缓存驻留导致每个token的生成都需要从SSD重新读取大量数据。 AI
影响 证明了大型MoE模型可以在消费级硬件上运行,并强调了SSD性能是高效推理的关键因素。
排序理由 该条目详细介绍了在消费级硬件上运行大型语言模型的技术实验和性能分析,重点关注硬件瓶颈。[lever_c_demoted from research: ic=1 ai=1.0]
- Arm Holdings
- central processing unit
- Darwin-180B-RSI
- GGUF
- graphics processing unit
- llama.cpp
- POCKET-26B
- POCKET-35B
- Q4
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →