实体 30966

30966

PulseAugur coverage of 30966 — every cluster mentioning 30966 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_346553 · Nov 7 · 16:25

llama.cpp 为 MoE 模型添加 CPU 卸载以提升性能

llama.cpp 项目的一个拉取请求引入了 llama_moe_cache 功能，旨在提高混合专家（MoE）模型卸载到 CPU 时的性能。此增强功能对于 VRAM 有限的用户特别有益，因为它允许未命中的专家在 CPU 上运行，从而可能显著提高速度。该实现被描述为类似于 Strata 等其他项目中发现的调优机制。