picchio

开发者使大型 MiniMax-M2 模型能在 32GB RAM 笔记本电脑上运行

一位开发者创建了一个名为 Picchio 的 C 语言推理引擎，允许大型专家混合（MoE）模型在内存小于模型大小的系统上运行，方法是从磁盘流式传输专家。该项目最近增加了对 MiniMax-M2 模型（转换为 INT4 后约 122 GB）的支持。该设置在配备 32 GB RAM 和 NVMe SSD 的 12 核笔记本电脑上实现了约 0.48 tokens/秒的性能，证明了缓存大小是性能的关键因素。