(AF) Could we have a --disk-moe or --n-disk-moe like --cpu-moe or --n-cpu-moe so we can use disk/cpu/gpu ?

Reddit 用户为更大的模型提出基于磁盘的 MoE 卸载

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-05 21:58

r/LocalLLaMA subreddit 上的一位用户正在为专家混合（MoE）模型提出新功能，特别是建议“--disk-moe”或“--n-disk-moe”选项。这些选项将允许将模型层卸载到磁盘或中央处理单元（CPU）以及图形处理单元（GPU），从而使更大的模型可以在性能较低的硬件上运行。 AI

影响通过利用磁盘存储进行卸载，可以在消费级硬件上运行更大的模型。

排序理由关于本地 LLM 部署的 subreddit 上的用户提议。

在 r/LocalLLaMA 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 关于本地 LLM 部署的 subreddit 上的用户提议。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 68 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 (AF) · /u/storm1er · 2026-08-05 21:58

我们能否拥有类似 --cpu-moe 或 --n-cpu-moe 的 --disk-moe 或 --n-disk-moe 以便使用磁盘/CPU/GPU？

<div class="md"><p>Explicit title, It would be nice to have the ability to have 3 tiers moe offload :( </p> </div>   submitted by   <a href="https://www.reddit.com/user/storm1er"> /u/storm1er </a> <br /> <span><a href="https://www.reddit.com/r…

本文如何被排名

报道来源 [1]

我们能否拥有类似 --cpu-moe 或 --n-cpu-moe 的 --disk-moe 或 --n-disk-moe 以便使用磁盘/CPU/GPU？

相关实体

相关话题