(AF) Could we have a --disk-moe or --n-disk-moe like --cpu-moe or --n-cpu-moe so we can use disk/cpu/gpu ?

Reddit 用户为更大的模型提出基于磁盘的 MoE 卸载

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-05 21:58

r/LocalLLaMA subreddit 上的一位用户正在为专家混合（MoE）模型提出新功能，特别是建议“--disk-moe”或“--n-disk-moe”选项。这些选项将允许将模型层卸载到磁盘或中央处理单元（CPU）以及图形处理单元（GPU），从而使更大的模型可以在性能较低的硬件上运行。 AI

影响通过利用磁盘存储进行卸载，可以在消费级硬件上运行更大的模型。

排序理由关于本地 LLM 部署的 subreddit 上的用户提议。

在 r/LocalLLaMA 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 (AF) · /u/storm1er · 2026-08-05 21:58

Could we have a --disk-moe or --n-disk-moe like --cpu-moe or --n-cpu-moe so we can use disk/cpu/gpu?

<div class="md"><p>Explicit title, It would be nice to have the ability to have 3 tiers moe offload :( </p> </div>   submitted by   <a href="https://www.reddit.com/user/storm1er"> /u/storm1er </a> <br /> <span><a href="https://www.reddit.com/r…

报道来源 [1]

Could we have a --disk-moe or --n-disk-moe like --cpu-moe or --n-cpu-moe so we can use disk/cpu/gpu?

相关实体

相关话题