实体
Q4_0
Q4_0
PulseAugur coverage of Q4_0 — every cluster mentioning Q4_0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Flux Klein 4B：Q4_0 和 Q2 量化方法产生相同的性能
一位 Reddit 用户对 Flux Klein 4B 模型比较了两种量化方法 Q4_0 和 Q2。两种方法在 4 步渲染中每迭代的处理速度均为 12.89 秒。用户在具有 16 GB RAM、i5-4590 CPU 和 4 GB VRAM 的 GTX 750 Ti 的系统上进行了测试，并指出尽管硬件配置较低且使用了 2 位量化，系统仍未耗尽内存。
-
LLM 量化技术节省模型存储空间
r/LocalLLaMA 的一位 Reddit 用户发现了一种方法，可以通过存储量化值（scale values）的索引而不是量化值本身来减小量化大语言模型的文件大小。该技术在 Qwen 3.5 2B 和 Qwen 3.6 27B 模型上使用 Q4_0 量化进行演示，可以将 Qwen 3.6 27B 模型的大小减小约 318MB。该用户详细介绍了数学过程，展示了如何使用每个 32 个权重块的 11 位索引而不是 16 位量化值来回收大…
-
Google 的 QATs 显示出比 Unsloth 变体更高的精度
r/LocalLLaMA 上的一位用户观察到，Google 的 QATs（量化感知训练）Q4_0 模型似乎比 Unsloth 的 Q4_K_XL 变体具有更高的精度，这与预期相反。这一观察基于文件大小和张量数量，其中 Google 的 Q4_0 模型有时比 Unsloth 的 Q4_K_XL 更大，这表明量化策略或实现方式存在差异。用户正在寻求关于为何会出现这种差异以及如何正确分析 GGUF 文件中张量数据的解释。