一篇新研究论文介绍了一个名为 Prima.cpp 的系统，该系统专为在消费级硬件集群上进行高效的大型语言模型 (LLM) 推理而设计。Prima.cpp 通过采用流水线环并行 (PRP) 和一个名为 Halda 的异构感知调度器，解决了内存不足、显存不足和磁盘速度慢等限制。这种方法允许在混合 CPU/GPU 系统上部署 30-70B 参数模型，与 EXO 和 dllama 等现有解决方案相比，实现了显著更低的 token-to-token 延迟，同时保持了稳定性和广泛的兼容性。 AI
影响 使得在消费级硬件上运行更大的 LLM 成为可能，从而可能提高设备上 AI 应用的可访问性和隐私性。
排序理由 一篇关于新型 LLM 推理系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
