一位用户成功地在一台标准的惠普笔记本电脑上运行了一个拥有 80 亿参数的 Llama 3 模型，该笔记本配备了 i7-1165G7 CPU 和 12GB RAM，达到了每秒 6 个 token 的速度。实验表明，与 CPU 相比，集成显卡 Iris Xe 在提示读取方面更快，但在答案生成方面更慢，这可能是由于共享内存带宽所致。此外，对于较长的任务，使用 8 位 KV 缓存的效率不如 16 位缓存，而限制 CPU 的功耗不会影响写入速度，同时防止过热。 AI
影响 展示了在中等规模 LLM 在标准笔记本电脑上运行的可行性，可能降低本地 AI 实验的门槛。
排序理由 用户级别的实验，在消费级硬件上运行现有 LLM。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
