PulseAugur
中
实时 00:55:57
Español(ES) Un MoE de 180B en un portátil de 32 GB: el cuello de botella es el SSD, no la CPU ni la GPU

180B MoE模型在32GB内存笔记本上运行,SSD是瓶颈

一个拥有1800亿参数的混合专家模型(MoE),Darwin-180B-RSI,成功在一台拥有32GB内存的笔记本电脑上运行,仅使用CPU的情况下,实现了约每秒3个token的生成速度。更小的MoE模型POCKET-26B和POCKET-35B,能够完全载入内存,在相同硬件上运行速度显著更快,超过每秒11个token。对于较大的模型,主要的瓶颈被确定为固态硬盘(SSD)的读取速度,因为有限的缓存驻留导致每个token的生成都需要从SSD重新读取大量数据。 AI

影响 证明了大型MoE模型可以在消费级硬件上运行,并强调了SSD性能是高效推理的关键因素。

排序理由 该条目详细介绍了在消费级硬件上运行大型语言模型的技术实验和性能分析,重点关注硬件瓶颈。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

180B MoE模型在32GB内存笔记本上运行,SSD是瓶颈

本文如何被排名

Signal score
5 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目详细介绍了在消费级硬件上运行大型语言模型的技术实验和性能分析,重点关注硬件瓶颈。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 Español(ES) · 김민식/학생 ·

    180B MoE 运行在 32GB 笔记本上:瓶颈在于 SSD,而非 CPU 或 GPU

    <p><a class="article-body-image-wrapper" href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fquickchart.io%2Fchart%2Frender%2Fzf-4d577bad-78ce-49ae-8607-cf1cbdc7f1b3"><img alt="Velocidad de generación en un por…