PMem 200

Homelabber 使用 Optane 内存通过 CPU 运行庞大的 2.8T 参数 AI 模型

一位 Reddit 用户成功地仅使用 CPU 和第二代 Intel Optane Persistent Memory 模块运行了 Moonshot AI 的 2.8 万亿参数 Kimi K3 AI 模型。该设置不使用 GPU，在 1 位量化下实现了每秒 0.85 个 token 的速度，尽管产生了大量热量需要主动冷却。用户选择 Optane 是因为它与 DRAM 相比成本更低、容量更大，使其成为在家庭实验室环境中运行超大型模型的可行但缓慢的选择。