PulseAugur
实时 12:08:47

GLM-5.2 模型通过 Colibri 引擎实现量化,可在消费级硬件上运行

GLM-5.2 模型的一个量化版本,名为 jlnsrk/GLM-5.2-colibri-int4,已在 Hugging Face 上发布。该版本通过从磁盘流式传输专家,旨在在消费级硬件上运行,需要大约 25 GB 的 RAM 和 400 GB 的快速本地存储。该模型使用自定义容器格式,仅与 Colibri 引擎兼容,不支持 GGUF 或 GPTQ 等标准格式。 AI

影响 通过优化内存使用和利用磁盘流式传输,使得在消费级硬件上运行大型模型成为可能。

排序理由 发布了具有特定硬件要求和自定义引擎的量化模型变体。

在 Hugging Face Trending Models 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GLM-5.2 模型通过 Colibri 引擎实现量化,可在消费级硬件上运行

报道来源 [1]

  1. Hugging Face Trending Models TIER_1 Română(RO) · jlnsrk ·

    jlnsrk/GLM-5.2-colibri-int4

    1,665 downloads · 58 likes