PulseAugur
中
实时 13:33:13
العربية(AR) تشغيل نموذج MoE بحجم 35B على GTX 1650 بذاكرة 4GB: اختبار فعلي

35B MoE 模型通过混合 CPU/GPU 推理在 4GB 显存 GPU 上运行

一项技术测试表明,一个拥有 350 亿参数的混合专家(MoE)模型 Qwen3.6-35B-A3B,可以在只有 4GB 显存的消费级 NVIDIA GTX 1650 Max-Q GPU 上运行。实现这一可行性的关键在于 MoE 架构,它为每个 token 只使用其参数的一个子集,从而允许模型的大部分权重存储在系统内存(RAM)而非显存(VRAM)中。这种混合 CPU/GPU 推理方法实现了每秒 21-22 个 token 的实际速度,使其可用于交互式应用。 AI

影响 证明了大型 MoE 模型可以在消费级硬件上运行,这可能降低了高级 AI 应用的入门门槛。

排序理由 技术测试,证明了在有限硬件上运行大型 MoE 模型的可行性。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

35B MoE 模型通过混合 CPU/GPU 推理在 4GB 显存 GPU 上运行

本文如何被排名

Signal score
91 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
技术测试,证明了在有限硬件上运行大型 MoE 模型的可行性。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [2]

  1. dev.to — LLM tag TIER_1 العربية(AR) · Nabil Doghri ·

    在 4GB GTX 1650 上运行 35B MoE 模型:一项实际测试

    <p>يبدو تشغيل نموذج يحتوي على 35 مليار مُعامل على بطاقة GTX 1650 Max-Q بذاكرة فيديو لا تتجاوز 4 غيغابايت مزحة سيئة. وغالبًا ما يكون كذلك.</p> <p>لكن النموذج الذي اختبرته من نوع «مزيج الخبراء» MoE، وهذا النوع لا يستخدم جميع معاملاته في حساب كل رمز. ومع ذاكرة نظام كافية، ومحرك استد…

  2. dev.to — LLM tag TIER_1 Français(FR) · Nabil Doghri ·

    在 4GB GTX 1650 上运行 35B MoE:真正的考验

    <p>Tester un modèle de 35 milliards de paramètres sur une GTX 1650 Max-Q de 4 Go semble être une mauvaise blague. En général, c’en est une.</p> <p>Sauf que le modèle testé est un MoE — un Mixture of Experts — et qu’un MoE ne calcule pas avec l’intégralité de ses paramètres à chaq…