sqliteai

新的 C 推理引擎 WASTE 支持在有限 RAM 上运行 2.78T 参数 Kimi k3 模型

一个名为 WASTE 的新的基于 C 的推理引擎已被开发出来，用于运行大型语言模型，特别是 2.78 万亿参数的 Kimi k3 模型，通过直接从 NVMe 存储流式传输激活的权重。这种方法允许模型通过利用磁盘作为扩展内存来运行超出可用 RAM 的限制。该引擎被设计为无依赖且可嵌入的，将核心模型保留在内存中，同时有效地管理来自磁盘的专家权重。