Maurizio Cammalleri

Janas 引擎通过从 SSD 流式传输实现笔记本电脑上的大型 AI 模型

一款名为 Janas 的新语言模型引擎，由 Maurizio Cammalleri 用 C 语言编写，声称能显著提高大型 AI 模型在消费级硬件上的性能。据报道，Janas 在配备 32 GB RAM 的笔记本电脑上运行 48 GB 模型时，速度可达每秒 37 个 token，这比 llama.cpp 等现有方法有了显著改进。该引擎通过将模型权重保留在磁盘上并选择性地缓存常用“专家”，同时利用推测性草稿来加速 token 生成来实现这一点。