Quantr

新的 C 语言推理引擎 Quantr 探索在无 GPU 的情况下运行 LLM

一个名为 Quantr 的新的实验性 LLM 推理引擎已用 C 语言开发，旨在探索在不依赖 GPU 的情况下运行大型语言模型的复杂性。该项目专注于量化模型权重、GGUF 格式加载和高效的 CPU 执行，使推理过程更加透明。Quantr 旨在通过明确和可管理这些操作，而无需强制依赖 PyTorch 或 BLAS 等框架，从而揭开模型推理（从加载权重到生成 token）所涉及的步骤的神秘面纱。