English(EN) Edge0 streams MoE experts off SSD to fit 35B in 3 GB

Edge0-AI 将 35B MoE 模型从 SSD 流式传输以适应 3GB RAM

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-12 05:22

Edge0-AI 发布了 Edge0，这是一个开源流式推理引擎，旨在消费级硬件上运行大型混合专家（MoE）模型。该引擎通过在 SSD 上内存映射整个模型检查点，并为每个 token 只将活动使用的专家加载到 RAM 中来实现这一点。这种方法允许一个拥有 350 亿参数的模型在峰值内存使用量约为 3GB 的情况下运行，尽管它严重依赖操作系统文件缓存，并且频繁的读取可能会影响 SSD 的寿命。 AI

影响通过优化内存使用，可以在消费级硬件上运行更大的 MoE 模型，从而可能降低本地 LLM 部署的门槛。

排序理由这是一个推理引擎和预览模型的发布，而不是主要实验室的前沿模型发布。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

Edge0-AI 将 35B MoE 模型从 SSD 流式传输以适应 3GB RAM

本文如何被排名

Signal score: 37 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个推理引擎和预览模型的发布，而不是主要实验室的前沿模型发布。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Ian Khasky · 2026-09-12 05:22

Edge0将MoE专家模型从SSD流式传输以将35B模型装入3GB

<p><a class="article-body-image-wrapper" href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Ffhui273ifl487dm4sqno.jpg"><img alt="A 35B model that…

本文如何被排名

报道来源 [1]

Edge0将MoE专家模型从SSD流式传输以将35B模型装入3GB

相关实体

相关话题