实体
John-194
John-194
PulseAugur coverage of John-194 — every cluster mentioning John-194 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
llama.cpp 添加 --n-cpu-ffn 选项，为低 VRAM 设备上的快速密集模型提供支持
llama.cpp 项目的新拉取请求引入了 `--n-cpu-ffn` 选项，旨在提高 VRAM 有限用户的密集模型性能。此功能允许将指定数量的 FFN 子层卸载到 CPU，类似于现有的 `--n-cpu-moe` 功能。此更改由 John-194 提交，旨在使低端硬件上的密集模型更易于访问。
-
llama.cpp 为密集模型添加 CPU 卸载选项
llama.cpp 项目已提交一个新的拉取请求，提议添加 `--n-cpu-ffn` 选项。此功能旨在为密集模型提供 CPU 卸载功能，类似于现有的用于专家混合 (MOE) 模型的 `--n-cpu-moe` 选项。此拉取请求由 John-194 提交，预计将提高在本地硬件上运行密集模型的用户的性能和灵活性，特别是对于 VRAM 有限的用户。