bitnet.cpp

新的 C99 推理引擎 Project Zero 为 BitNet 模型提供 1.8 倍加速

一个名为 Project Zero 的全新、从头开始构建的 C99 推理引擎已被开发出来，它在 Xeon 处理器上运行 BitNet 模型时，比 bitnet.cpp 快 1.8 倍。该引擎拥有零外部依赖，仅在 CPU 上运行，无需 Python、CUDA 或 PyTorch。该项目还通过 GGUF 支持 Qwen Bonsai-27B 模型，并正在寻求社区在各种 CPU 架构上的基准测试，以进一步优化性能并扩大其排行榜的地位。