实体 0.7.0

0.7.0

PulseAugur coverage of 0.7.0 — every cluster mentioning 0.7.0 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_302589 · Oct 15 · 19:02

llama.cpp v0.7.0 增强 GPU 缓存以加速 MoE 专家推理

llama.cpp 的最新版本 v0.7.0 引入了新的 GPU 缓存，用于混合专家（MoE）模型。此功能可通过 --moe-cache-mib 选项访问，允许专家从 LRU 缓存中运行在 GPU 上，可能使解码速度加倍。此外，专家缓存现在可以在多个 GPU 之间共享，从而提高多 GPU 设置的性能。