实体 Prima.cpp

Prima.cpp

PulseAugur coverage of Prima.cpp — every cluster mentioning Prima.cpp across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_128985 · Jul 7 · 04:00

Prima.cpp 在家庭计算机集群上实现快速 LLM 推理

一篇新研究论文介绍了一个名为 Prima.cpp 的系统，该系统专为在消费级硬件集群上进行高效的大型语言模型 (LLM) 推理而设计。Prima.cpp 通过采用流水线环并行 (PRP) 和一个名为 Halda 的异构感知调度器，解决了内存不足、显存不足和磁盘速度慢等限制。这种方法允许在混合 CPU/GPU 系统上部署 30-70B 参数模型，与 EXO 和 dllama 等现有解决方案相比，实现了显著更低的 token-to-tok…