PulseAugur
实时 11:28:36
English(EN) Laguna S 2.1 GGUF Q4_K_M went from 68GB to 96GB?

Laguna S 2.1 模型尺寸显著增加至 96GB

Laguna S 2.1 模型,特别是其 Q4_K_M 变体,尺寸已从 68GB 大幅增加到 96GB。此更改涉及将八个层升级到 FP16,而其余层保持 4 位量化。这种调整的原因被推测为先前量化级别遇到的问题,促使用户就技术决策寻求澄清。 AI

影响 Laguna S 2.1 模型尺寸和量化的这种变化可能会影响本地运行该模型的用户的性能和资源需求。

排序理由 讨论特定模型变体的技术规格和尺寸变化,而非新模型发布或重大行业事件。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Laguna S 2.1 模型尺寸显著增加至 96GB

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/BawbbySmith ·

    Laguna S 2.1 GGUF Q4_K_M 从 68GB 升至 96GB?

    <!-- SC_OFF --><div class="md"><p>I've been occasionally checking Laguna S 2.1 to see if there's any updates/fixes to the issues they've been having. I just noticed that they recently updated their Q4_K_M and it's now ballooned to 96GB, bumping up 8 layers to FP16 while leaving t…