实体 llamma.cpp

llamma.cpp

PulseAugur coverage of llamma.cpp — every cluster mentioning llamma.cpp across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_214846 · Aug 23 · 08:05

AMD 用户通过 llamma.cpp 优化分支实现 2 倍速度提升

由 AMD 维护的 llamma.cpp 项目的专用分支，为 AMD 用户提供了显著的性能提升。该分支集成了 ROCm/Hip，据报道，对于密集模型，其提示处理速度可提高一倍，对于 14B 模型可达到 550 tokens/s，而标准 llamma.cpp 的速度为 230 tokens/s。虽然 token 生成速度略有下降，但整体增强表明在本地 LLM 推理方面对 AMD 硬件进行了显著优化。