English(EN) Is there a quant of Granite 30b I can run in 12gb of VRAM/32gb of RAM?

用户寻求适用于有限硬件的Granite 30B量化模型

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-05 08:47

一位Reddit r/LocalLLaMA板块的用户正在寻找Granite 30B模型的量化版本，该版本可以在拥有12GB显存和32GB内存的系统上运行。用户希望这样的版本存在，这表明在消费级硬件上部署模型的需求日益增长。 AI

排序理由用户关于在有限硬件上模型可访问性的查询，并非发布或重大进展。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/MrMrsPotts · 2026-06-05 08:47

Is there a quant of Granite 30b I can run in 12gb of VRAM/32gb of RAM?

<div class="md"><p>I am hoping there is </p> </div>   submitted by   <a href="https://www.reddit.com/user/MrMrsPotts"> /u/MrMrsPotts </a> <br /> <span><a href="https://www.reddit.com/r/LocalLLaMA/comments/1txf7n4/is_there_a_quant_of_granite_30…