一个名为 Project Zero 的全新、从头开始构建的 C99 推理引擎已被开发出来，它在 Xeon 处理器上运行 BitNet 模型时，比 bitnet.cpp 快 1.8 倍。该引擎拥有零外部依赖，仅在 CPU 上运行，无需 Python、CUDA 或 PyTorch。该项目还通过 GGUF 支持 Qwen Bonsai-27B 模型，并正在寻求社区在各种 CPU 架构上的基准测试，以进一步优化性能并扩大其排行榜的地位。 AI
影响 为在 CPU 硬件上运行 LLM 提供了更高效、无依赖的选项。
排序理由 开发具有性能改进的新推理引擎。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
