Laguna S 2.1 模型,特别是其 Q4_K_M 变体,尺寸已从 68GB 大幅增加到 96GB。此更改涉及将八个层升级到 FP16,而其余层保持 4 位量化。这种调整的原因被推测为先前量化级别遇到的问题,促使用户就技术决策寻求澄清。 AI
影响 Laguna S 2.1 模型尺寸和量化的这种变化可能会影响本地运行该模型的用户的性能和资源需求。
排序理由 讨论特定模型变体的技术规格和尺寸变化,而非新模型发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →