Litespark-Inference

Litespark Inference enables faster LLM processing on consumer CPUs

研究人员开发了 Litespark-Inference，一种通过优化三元神经网络在消费级 CPU 上运行大型语言模型的新方法。该方法用更简单的加法和减法运算取代了浮点乘法，显著降低了计算需求。该实现与 Hugging Face 集成，并在各种处理器上与标准的 PyTorch 推理相比，在速度和内存使用方面均显示出显著的改进。