GLM-5.2 模型的一个量化版本,名为 jlnsrk/GLM-5.2-colibri-int4,已在 Hugging Face 上发布。该版本通过从磁盘流式传输专家,旨在在消费级硬件上运行,需要大约 25 GB 的 RAM 和 400 GB 的快速本地存储。该模型使用自定义容器格式,仅与 Colibri 引擎兼容,不支持 GGUF 或 GPTQ 等标准格式。 AI
影响 通过优化内存使用和利用磁盘流式传输,使得在消费级硬件上运行大型模型成为可能。
排序理由 发布了具有特定硬件要求和自定义引擎的量化模型变体。
在 Hugging Face Trending Models 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →