一位用户在 r/LocalLLaMA 子版块上寻求一个尽可能大的、能够装入 64 GB 显存用于蒸馏的 AI 模型。他们对大约 720 亿参数的模型持开放态度，并将内存容量置于速度之上，表示对每秒 12 个 token 的处理速度感到满意。 AI
排序理由 这是一个关于 AI 模型硬件限制的用户在特定子版块上的提问，并非重要的行业事件或发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
用户寻求可在 64GB 显存中蒸馏的最大 AI 模型
报道来源 [1]
-
Biggest model that is capable which can fit under 64 gb vram for the purpose of distillation
<!-- SC_OFF --><div class="md"><p>hi all, I have 64 gb VRAM, and I am looking for biggest model that I can use to distill prefer a reasoning model.</p> <p>even with 12 tokens per second I am happy, a 72 b model can fit in my machine, I have dual r9700, dont have speed but got the…