Q4_K
PulseAugur coverage of Q4_K — every cluster mentioning Q4_K across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
如何在 llama.cpp 中公平比较量化大语言模型
本文提供了一份使用 llama.cpp 精确比较量化大语言模型（LLMs）的指南。文章强调了按字节匹配文件大小的重要性，而不仅仅是量化标签，因为标签可能无法准确反映实际的比特表示。该指南还强调了保持测试参数一致的必要性，包括使用的文本、上下文窗口大小和评分模式，以确保困惑度（perplexity）和性能的公平比较。
-
llama.cpp b11763 增加了 OpenCL GEMM 变体和操作系统支持
llama.cpp 项目发布了 b11763 版本，引入了多个新的 OpenCL GEMM 操作变体，特别针对小批量大小进行了优化。这些更新包括修复了越界读取问题，并移除了之前强制将权重放置在 CPU 上的条件。该版本还为 Q4_0 和 Q4_K 等多种量化格式增加了特定优化，并增加了对多种操作系统和硬件架构的支持，例如 Apple Silicon、Linux、Android 和 Windows。
-
llama.cpp 更新修复了 ggml-openvino 后端问题
llama.cpp 项目发布了更新 b11436，重点改进和修复了其 ggml-openvino 后端的问题。这些更改解决了图编译、Gemma3 等模型的动态 token 维度以及特定权重量化类型的 GPU 回归问题。更新还包括修复 CONCAT 操作中量化类型的处理，并调整逐元素操作数秩以解决 GPU 插件中的缺陷，特别是影响 Gemma-3 等模型。
-
Ollama create：深入了解构建自定义 LLM
Ollama 的 `create` 命令充当模型编译器，接收 Modelfile 来构建自定义语言模型。它解析基础模型，将指令处理成内容寻址层，并生成清单。这种基于层的处理方式可以实现高效重建，因为只需要重新处理更改的参数。该命令支持各种自定义标志，包括指定 Modelfile、将模型量化为 Q8_0 或 Q4_K 等格式，以及用于 Safetensors 的实验性功能。
-
新的量化方法可实现大型MoE模型的高效服务
研究人员开发了一种名为Tied Trit-Planes (PTQTP) 的新型量化技术，将LLM权重矩阵约束为统一的九级量化器。该方法允许将两个三进制平面无损地折叠成单个4位代码平面，作为用于磁盘流式传输的混合专家模型的持久表示。将其应用于DeepSeek-V4-Flash-0731后，与4.5位基线相比，文件大小更小，解码速度更快，并且在MMLU等基准测试上的性能相当或有所提高，尽管权重重建误差较高。
-
ExTernD 技术在较低比特宽度下为 LLM 提供接近 bf16 的精度 · 跟踪 4 个来源
研究人员开发了 ExTernD，一种用于大型语言模型 (LLM) 的新型训练后量化技术。该方法将 LLM 权重矩阵分解为三元因子和一个对角缩放向量，从而扩展了内部秩以纠正量化误差。ExTernD 在 Gemma-4-E2B 和 Qwen3.5-4B 等模型上，展示了与 Q4_K 和 Q5_K 等更高比特宽度量化方法相当的精度，同时保持了高效的内存和计算使用。
-
LLaMA subreddit 用户询问 GGUF 量化精度
一位 r/LocalLLaMA subreddit 的用户正在寻求关于大型语言模型不同 GGUF 量化格式所提供精度的澄清。他们正在特别比较 NVFP4 与 Q4_K 和 Q6_K，并注意到网上存在相互矛盾的信息。用户根据其研究得出的当前理解表明，精度等级为 Q6_K 优于 NVFP4，而 NVFP4 又优于 Q4_K。