i5-11300H

开发者将 C LLM 推理速度提升 25 倍，达到 DRAM 限制

一位开发者详细介绍了优化 C 语言 LLM 推理引擎 Project Zero 的过程，以在 CPU 上实现显著更快的性能。该项目最初以 1.4 tokens/秒的速度运行 BitNet b1.58，经过九个月的迭代，在 Xeon 处理器上达到了 36.25 tokens/秒，接近 DRAM 带宽上限。优化过程包括移除 ML 框架、利用 AVX-512 和 VNNI 等特定 CPU 指令，以及解决内存带宽和散热限制等硬件瓶颈。