Edge0-AI

Edge0-AI 将 35B MoE 模型从 SSD 流式传输以适应 3GB RAM

Edge0-AI 发布了 Edge0，这是一个开源流式推理引擎，旨在消费级硬件上运行大型混合专家（MoE）模型。该引擎通过在 SSD 上内存映射整个模型检查点，并为每个 token 只将活动使用的专家加载到 RAM 中来实现这一点。这种方法允许一个拥有 350 亿参数的模型在峰值内存使用量约为 3GB 的情况下运行，尽管它严重依赖操作系统文件缓存，并且频繁的读取可能会影响 SSD 的寿命。