实体 --n-cpu-ffn

--n-cpu-ffn

PulseAugur coverage of --n-cpu-ffn — every cluster mentioning --n-cpu-ffn across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_221747 · Aug 27 · 09:29

llama.cpp 添加 --n-cpu-ffn 选项，为低 VRAM 设备上的快速密集模型提供支持

llama.cpp 项目的新拉取请求引入了 `--n-cpu-ffn` 选项，旨在提高 VRAM 有限用户的密集模型性能。此功能允许将指定数量的 FFN 子层卸载到 CPU，类似于现有的 `--n-cpu-moe` 功能。此更改由 John-194 提交，旨在使低端硬件上的密集模型更易于访问。